Kaggle intensive day 3... and the rest

В "продвинутой" бумаге по агентским системам из третьего дня интенсива говорится ровно о том же, к чему мы в Моните пришли после первой, и окончательно во время второй итерации по разработке MVP ассистента – разделяй и властвуй.

Документ в первой части преподносит эту мысль, сразу после того же самого о чем я писал совсем недавно – на рынке не хватает не ML специалистов (модели обучать есть кому, а толковые миддлы-сеньоры могут разобраться как на аджентик либе костыликов собрать) – все это потом нихрена не скейлится и нормально не деплоится.

Вот и в бумаге говорят – ай яй надо думать про AgentOps. И самое главное на чем предлагается AgentOps строить – на первичных данных и на человеческом фидбеке. Здорово. Я нового тут не черпнул, но приятно качество материала.

Потом рассматривается вопрос – а зачем нам маленькие агенты?

(там внатуре мои слова повторяются про SRP, только в профиль. Еще бы чуть-чуть тоже скатились чуть ли не в один тул на "агента")

Ответ - very good, very nice, very resilient, very high accuracy, less hallucinations, и так далее!

Рассказывают про паттерны оркестрации мультиагентских систем, подчеркивают chaining, по сути такой CPS пайплайн из агентов.

Упоминают competitive паттерн, где агенты друг с другом соревнуются и мы в конце сгребаем релевантный ответ в кучу, этакий автогрейд эвалюэйшен только в продакшене?

Ну не знаю. По мне лучше держаться цепочек и расширяемого контекста :)

Модная тема сейчас не просто Rag, а Agentic Rag. Тут можно хорошо пофантазировать – ну например параллельно работающие "агенты" каждый со своим источником документов, или типа того. Опять же – лишь бы агенты были потоньше да поменьше, чтобы не глюкали.

Хорошую мысль закидывают по улучшению R в RAG (retrieval) где мы не просто на вектора молотим втупую порубленные чанки – а насыщаем метаданными. Синонимы, даты, и прочее что может помочь быстрее и точнее вытаскивать данные.

И где-то на этом моменте поперло прям много много рекламы Vertex AI – че они там только не сделали уже.

И заманчиво, собака! Если бы я выбирал вендорлок всяких облачных аджентик решений, я бы вообще не смотрел никуда еще. Но я не выбираю :D

На следующий день (четвертый, который вчера был. Ну, четверг!) – представили документ про domain-specific применения LLM'ок. Ничего прям особенного – просто несколько интересных примеров использования и обучения моделей из сфер кибербезопасности и медицины. Лабы максимально неинтересные в этот день – тюнинг gemini модельки и использование поиска от гугла.

И тут количество вертекса стало расти экспоненциально. Сегодняшний день вообще фейл – папира целиком про MLOps на VertexAI и ноль лаб.

Резюме всего интенсива такое – первые три дня вполне себе хороши во всех отношениях – и лабы и бумаги. Особенно про Эмбеддинги и про Агентов-компаньонов (advanced whitepaper из третьего дня.)

В общем и целом не жалею о потраченном времени. У меня осталось много сопутствующего материала на углубление, я потыкался снова в kaggle.

Но вообще они обещали еще какой-то capstone проект за который медальку дадут на kaggle, но я его не вижу. Неужели под этим проектом они имеют в виду:

... During the livestream tomorrow, we will do a code walkthrough and live demo of goo.gle/agent-starter-pack, a resource created for making MLOps for Gen AI easier and accelerating the path to production. Please go through the repository in advance...

Вот уж спасибо, я на выходных чем-то более интересным и полезным займусь. Чего и вам желаю!

На следующей неделе продолжаю эту же тему, но уже долгожданный десерт – курс Рината по ассистентам. Вот там-то мы и посмотрим!