Как ИИ рассуждает

Котятки,

мне подключили модель ИИ c рассуждениями (gpt конечно), и конечно, я начала ее тестировать и в лоб и в иные места. Убила на это весь выходной, но результат интересный.

Начала я с матрицы компетенций BI-аналитиков: сам инструмент предполагает, что у человека, который ее использует, есть релевантный опыт и видение образа результата человека, с тем или иным уровнем компетенций, а также некий подход, основанный на разумности требований.

Задача - сравнить несколько матриц компетенций и создать аналог.

Почему была взята именно эта задача:

-двойной контекст: для решения нужно учитывать и специфику работы аналитиков, и специфику работы на BI-инструментах. Было интересно, как переварит этот момент наш ИИ.

-разные типы задач: важно было проверить разные навыки самого ИИ (анализ, синтез, сопоставление, реструктурирование под визуализацию), поэтому пришлось обращаться к тем вещам, которые я называю "формой" - то есть не к самой сути (компетенциям и их набору), а к формату представления (матрице), который может быть разной глубины, структуры, и преследовать разные функции.

Что на входе?

1) Базово для собесов джунов/мидлов я с недавних пор пользую матрицу Ромы Бунина, ее возьмем за наиболее сбалансированную матрицу. Матрица подходит для сравнительной оценки компетенций.

https://docs.google.com/spreadsheets/d/1tg9xyYhpj2gCtDtH_ooh_3OnnDPuTPIsIs7dVrMTiC0/htmlview#gid=2021394737

2) В анналах моей работы сохранились общие требований к BI-разработчикам уровня middle+, не привязанные к конкретному инструменту. В них не было градации, они не подходят для собесов и иначе структурированы, - короче, не подходят для сравнительной оценки, скорее требования к майндсету и опыту.

https://disk.yandex.ru/d/YNXvn3Muhefw-Q

Что было сделано: 

-для второй матрицы попросила порассуждать и декомпозировать требований так, чтобы они имели градацию, то есть приблизить ее к первой матрице;

-для обеих матриц попросила сделать сравнительный анализ;

-на основании сопоставления, попросила сделать некую гибридную матрицу, дать ей характеристику;

-результаты работы нужно было упаковать в инфографику.

Декомпозиция требований

Результаты декомпозиции (смотреть тут, если интересно https://disk.yandex.ru/i/5gmhn0uHuSQVVw) можно охарактеризовать следующим образом:

-использование эпитетов: в случае, когда для ИИ не была понятна суть навыка, он просто добавлял приглагательные

-детализация как метод усиления: ИИ глубина детализации служит критерием того, что навык более прокачан, что является ошибочным. В частности, с навыкам сбора требований он ушел не туда, как и с декомпозицией. Для него "детализированнее" приравнивается к "лучше"

-галлюцинации: болезнь додумывания проявилась во всей красе, и вот навык собрать модель в BI на суперуровне превращается в оптимизацию, а базовые вещи (меры и измерения) из обыденности становятся сверхсилой.

-независимость контекста внутри задачи: каждый аспект он рассматривает отдельно от остальных, поэтому наращивание уровней у него происходит без оглядки на остальные компетенции. На выходе мы получим менеджера-разработчика-тестировщика-аналитика, который может и директором IT поработать.

-ограниченность контекста вне задачи: у меня модель с рассуждениями, но она оказалась не способна задавать тебе вопрос "а достаточно ли этого?" и "а не сильно ли это много", ну и сравнение с эталонами и лучшими практиками в задаче игнорируется, даже если лучшая практика напрямую задана (в промте указано, что модель декомпозиции шкалы надо было срисовать с матрицы 1).

Сравнение.

Сравнение велось по 6 разным категориям вопросов, так как методом научного тыка выявилось, что категоризировать сравнение по различным аспектам модель не может.

Основные претензии такие:

-какой-то искусственный запрет на негатив не позволяет в некоторых местах сделать вывод, что лучше. Анализ будто разводит сопоставляемые объекты, хотя можно было бы сравнить в лоб, дать плюсы и минусы. Важно: при прямом запросе на негатив ИИ все же может выдать какой-то результат, но это через боль.

-нет сравнения форматов, акцент на содержание, полностью исключены мысли о применимости, хотя вопрос релевантности в сравнении с реальными резюме (резюме были даны на вход) был задан.

-обобщения: интересно запорот вопрос "общие и специфические требования": по моим прикидкам, в общие должен был вылететь уровень английского, но он слово "общие" понял с каким-то контекстом и не обобщил просто для людей.

1) Группировка компетенций и декомпозиция каждой группы.

Матрица 1:

Очень подробная и детализированная.

Категории разделены на блоки, связанные с этапами работы: сбор требований (для разных масштабов пользователей), разработка дашбордов, технические аспекты работы с Tableau (подключение данных, расчёты, визуализация, интерактивность и т.п.), дизайн и визуализация, управление проектами и командой, подготовка данных, дополнительные технические навыки (SQL, Python, ETL) и soft skills (переговоры, документация, английский).

Фокус сделан на конкретном инструменте (Tableau) и глубоком погружении в нюансы его функционала.

Матрица 2:

Структурирована вокруг более общих этапов работы: осознанность (понимание своего технологического стека), сбор требований, организация работы, разработка с использованием выбранного BI-инструмента и эксплуатация.

Категории отражают системный подход и интеграцию в бизнес-процессы, а не углублённую детализацию конкретного инструмента.

2) Пересечения и расхождения

Общие моменты:

Обе матрицы охватывают этапы сбора требований, разработки/реализации решения и вопросы передачи работы в эксплуатацию.

Есть акцент на коммуникацию с пользователями и понимание бизнес-процессов.

Отличия:

Техническая детализация: Матрица 1 включает глубокую проработку аспектов работы с Tableau (различные типы вычислений, особенности соединения данных, продвинутые настройки визуализации), тогда как Матрица 2 остаётся более абстрактной и ориентирована на общие принципы работы с BI-инструментом.

Область применения: Матрица 1 затрагивает как технические, так и управленческие компетенции (включая работу с командой, обучение, найм), а Матрица 2 делает акцент на системном понимании и межкомпонентной интеграции.

3) Соответствие лучшим практикам BI-компетенций

Матрица 1 демонстрирует высокий уровень детализации, что может соответствовать лучшим практикам для глубокого технического специалиста, но при этом риск избыточности: не все компании требуют такого объёма знаний по каждому аспекту.

Матрица 2 больше ориентирована на стратегическое мышление и системную интеграцию, что отвечает современным тенденциям в архитектуре BI, где важна не только конкретная технология, но и понимание всего технологического стека и процессов.

4) Усложнённость и избыточные требования

Матрица 1 содержит очень подробные уровни мастерства (часто с 3–4 уровнями для каждого навыка). Это может быть полезно для масштабной оценки экспертизы, но в то же время создаёт риск перегрузки, когда требования становятся слишком специфичными или «узкоспециализированными».

Матрица 2 более компактна и сфокусирована, что снижает риск избыточности, но может упустить некоторые детали, важные для оценки практических навыков.

5) Общие vs. специфические требования

Матрица 1:

— Содержит как общие компетенции (коммуникация, управление проектами, понимание бизнес-процессов), так и очень специфические знания (тонкости работы Tableau, типы соединений, особенности LOD, работа с интерфейсом).

Матрица 2:

— Акцент делается на общие подходы и понимание системы: осознание стека, сбор и декомпозиция требований, организация работы, контроль качества результата и эксплуатация.

6) Релевантность для применения в оценке персонала (в соответствии с реальными резюме)

Матрица 1 может быть слишком детализированной для большинства резюме, особенно если компания ожидает от кандидата универсальности, а не глубокой специализации только на одном BI-инструменте.

Матрица 2 отражает более стратегический и системный подход, который часто встречается в опыте старших специалистов, отвечающих за интеграцию аналитики на уровне всей организации.

Гибридная матрица (анализ задачи).

Несмотря на то, что результат меня не устроил как специалиста, с задачей (как задачей синтеза) он справился.

Это была чистая задачка синтеза, которая решается просто:

-выделяй общее и бери на борт

-сочини контекст

-структурируй частное и добавляй его в соответствии с контекстом.

Контекст он сочинил себе сам такой (без моей подсказки)

Предлагается объединить сильные стороны обеих матриц. Гибридный вариант должен:

-Покрывать ключевые этапы работы аналитика: от сбора требований до поддержки готового решения.

-Содержать как общие (стратегические, управленческие) компетенции, так и специализированные технические навыки, но без избыточной детализации, чтобы быть применимым в разных средах (не только Tableau).

Как отрефлексировал свою работу:

Гибридная матрица объединяет детальное понимание технических аспектов (как в Матрице 1) с системным и управленческим подходом (как в Матрице 2). Такой вариант позволяет:

-Учесть все важные аспекты работы BI-аналитика.

-Быть применимым как для специалистов, работающих с конкретными инструментами, так и для тех, кто отвечает за общую архитектуру аналитической платформы.

-Избежать избыточной детализации, сохранив при этом достаточную конкретику для оценки компетенций в соответствии с реальными резюме.

-Этот гибридный вариант может служить основой для создания универсального инструмента оценки компетенций, адаптированного под различные реалии и требования компаний.

Собственно, гибридная матрица

I. Стратегическое мышление и общая осведомлённость

Осведомлённость о стеке: Знание основных компонентов (хранение, обработка, визуализация) и понимание их взаимосвязи.

Бизнес-контекст: Понимание бизнес-процессов компании и ключевых метрик.

II. Сбор и анализ требований

Интервью с пользователями: Умение проводить интервью, формировать и декомпозировать требования.

Декомпозиция задач: Способность переводить бизнес-требования в технические задания для различных компонентов аналитической платформы.

III. Проектирование и разработка аналитических решений

Разработка дашбордов и отчетов: Проектирование и создание визуальных решений с учётом функциональных требований.

Техническая реализация: Выбор оптимального BI-инструмента или подхода (с учётом особенностей задачи), создание моделей данных, разработка расчётных полей и логики визуализации.

Тестирование и валидация: Умение проводить тестирование (UAT, проверка корректности данных, тестирование производительности).

IV. Техническая экспертиза и интеграция данных

Работа с данными: Навыки подключения к различным источникам данных, знание SQL и принципов работы с БД.

Инструменты ETL и автоматизация: Знание инструментов для подготовки данных (например, ETL, Python) и умение оптимизировать рабочие процессы.

V. Дизайн и визуализация

Принципы визуального дизайна: Понимание принципов композиции, гештальта, контраста, оптимального использования цвета.

Интерактивность: Создание интерактивных элементов (фильтры, экшены, адаптивные макеты) для улучшения пользовательского опыта.

VI. Организация работы и управление проектами

Рабочие процессы: Знание полного цикла разработки – от заявки до поставки решения.

Командная работа и коммуникация: Умение работать в команде, организовывать процессы, управлять изменениями и проводить презентации результатов.

Управление изменениями: Практики CI/CD и Change Management при внедрении аналитических решений.

VII. Эксплуатация и поддержка

Передача в эксплуатацию: Навыки документирования, обучения пользователей и поддержки готовых BI-решений.

Решение инцидентов: Способность оперативно выявлять и устранять проблемы в эксплуатации аналитических систем.

VIII. Личные качества и развитие

Инициативность и обучение: Стремление к постоянному развитию, обмен знаниями с командой, активное участие в BI-комьюнити.

Софт скиллы: Навыки переговоров, управления ожиданиями, адаптивности в условиях изменения требований.

Резюме

-декомпозиция компетенций и создание шкалы (анализ) - большой жирный минус, система пока не может сложить цепочку, из которой видно, как углубляется тот или иной скилл, что усиливается. Грубо говоря, не может выявить некоторое "зерно", основополагающую суть, почему данный набор действий объединен как компетенция в данном конкретном случае.

-сравнение (сопоставление): на троечку, если не задавать глубины анализа и не прописывать детальный промт, как именно должны быть сравнены 2 сущности.

-создание гибридной матрицы (тестировался навык синтеза): получилось что-то вроде вакансии, а не матрицы компетенций, боюсь, тоже минус по содержанию, плюс по механике рещения. 

-генерация инфографики (визуализация)): на троечку, так как ИИ не смог подобрать глубину инфографики таким образом, чтобы получился наглядный результат. У него вышло что-то вроде рекламы (ура, мы сравнили 3 матрицы, хотя мы не сравнивали третью, а генерировали ее).

-общее впечатление: пока похоже на 11-классника, который имеет строгий крен в естественно-научный профиль, а проят у него сделать упражнение по обществознанию. Форму подобрать может, а вот с содержанием так себе.

Что я с этим буду делать: промты генерировать) Зная слабые места текущих моделей, необходимо под каждую задачу генерировать подходящий промт и действовать итеративно, так как при итеративной работе модель справляется лучше, чем на комплексном задании, где описаны сразу все детали.