Проактивная оценка: стресс-тест программ

Программы подвержены структурным и функциональным недостаткам, но у оценщиков и заинтересованных сторон зачастую недостаточно методической базы для проактивного выявления на ранних этапах недостатков, которые могут привести к недостижению запланированных целей.

Предпосылки проведения стресс-теста программ

Предлагаемый метод стресс-теста программ основывается на двух предпосылках:

• программы должны быть устойчивыми к негативным воздействиям среды, в которой они реализуются;
• ведомства, как правило, не ориентированы на  выявление слабых сторон программ и акцентируют внимание лишь на реализации программы по изначально сформулированному плану.

Оценщики в этом случае могут провести симуляцию негативного воздействия внешней или внутренней среды еще до того, как реализуются шоки, которые могут повлечь избыточные расходы и недостижение целей в реальных условиях. 

Концепт и стратегия стресс-теста

В идеале структурные и функциональные элементы программы, а также контекст реализации программы определяются ее формализованной моделью (теорией), которая фокусирует планирование, реализацию и оценку программ. Это может быть логическая модель, теория изменений, модель действий / изменений. При этом наиболее полезны модели, объясняющие причинно-следственные механизмы, активируемые программой, и описывающие факторы условий реализации программы. 

Модель действий (action model) - как движущая сила модели изменений - уникальна для внедряющей организации и среды реализации программы. Небольшие изменения в модели действий оказывают довольно большое влияние на реализацию и результаты программы. Модель изменений (change model) описывает причинно-следственные механизмы и объясняет, какое именно воздействие оказывают различные элементы интервенции с точки зрения достижения желаемых результатов.

На рисунке ниже приводится концептуализация программы в рамках объединенной модели действий и изменений  (Chen, 2005, 2015), описывающей 

·  компоненты, необходимые для инициирования активностей (мероприятий);

·  среду реализации;

·  целевую аудиторию, получающую выгоды от программы,

·  конкретные протоколы предоставления услуг / достижения результатов.

В рамках объединенной модели действий / изменений возможен учет как каузальных (причинно-следственных) механизмов программы, так и структурных недостатков (например, нехватка компетенций и персонала, негативные факторы внешней среды) и  функциональных недостатков программы (например, слабая координация действий, неэффективная коммуникация).

Для выявления этих недостатков и их учета в модели может быть использован симуляционный стресс-тест программы, то есть инструмент оценки, нацеленный на проактивное выявление устойчивости структурной и функциональной составляющих программы под воздействием стресс-сценариев, разработанных профессиональными оценщиками.

Описание метода проведения стресс-теста

Фаза 1. Подготовка к стресс-тесту

Шаг 1. Ознакомить команду со стресс-тестом программы.  Команда должна определиться с методом выявления структурных и функциональных недостатков.

Шаг 2. Выбор модели программы, на основе которой будет проводиться  стресс-тест. Модель должна учитывать структуру, функции и контекст реализации программы, чтобы быть пригодной для разработки на ее основе стресс-теста.

Шаг 3. Дизайн стресс-теста.

Создание дизайна состоит из следующих элементов:

• Определение элементов программы, которые будут подвергнуты стресс-тесту.
• Договоренности оценщиком и стейкхолдеров  о формате встречи: время, место, продолжительность и тд.
• Разработка протокола стресс-теста и альтернативных сценариев.
• Определение и приглашение участников стресс-теста (в идеале 6-12 человек, которые обладают знаниями о программе, а также выполняют различные роли при реализации программы).

Фаза 2. Проведение стресс-теста

Шаг 1. Презентация разработанного стресс-теста участникам

Презентация позволяет обеспечить активное вовлечение участников, а также побудить их думать в терминах негативных факторов воздействия в процессе реализации программы.

Шаг 2. Содействие в проведении стресс-теста

Фасилитаторы следуют протоколу стресс-теста, используя следующие техники: фокусировка на проблеме и обсуждение ее влияния на компоненты программы; фиксирование общих точек зрений участников; совместный анализ логических цепочек влияния выявленной проблемы (позитивные  и негативные сопутствующие эффекты).

Шаг 3. Итоговое совещание

В рамках стресс-теста обсуждаются преимущественно негативные сценарии реализации программы, при завершении стресс-тестирования фасилитаторам  необходимо повторить цели проведения стресс-теста, чтобы у участников не оставались по итогам встречи исключительно негативные ожидания от результатов реализации программы.

Фаза 3. Анализ данных и подготовка отчета

В отчете должны содержаться результаты стресс-теста, которые могут привести к корректировке программы. Все артефакты стресс-теста анализируются согласно стандартам качественного анализа. Выводы структурируются по выявленным структурным и функциональным проблемам, также структурируются предлагаемые решения участников.

В каких случаях рекомендуется проводить стресс-тест

Новые программы 

Позволяет оценить устойчивость программы, предвосхитить основные проблемы, проактивно разработать решения, которые помогут избежать провалов реализации программы.

Уже реализовавшиеся программы 

В условиях ограниченности ресурсов зачастую реплицируются интервенции, основанные на доказанном влиянии и которые были реализованы в других условиях.

Пример применения стресс-теста.

Стресс-тест произведен в отношении программы по снижению исключения жителей бедных районов из образовательных программы по подготовке младшего медицинского персонала из-за неуспеваемости

Модель действий/изменений

По результатам проведения стресс-теста удалось выявить функциональные и структурные недостатки программы снижения доли исключенных студентов из бедных районов:

• структурные недостатки (текучка кадров среди исполнителей, недостаточность заявок со стороны целевой группы программы)
• функциональные недостатки (коммуникационная стратегия не обеспечивала качественного взаимодействия между исполнителями программы и заинтересованными сторонами).

Отличие подхода стресс-теста от других подходов к оценке заключается:

• в формировании среды открытого диалога, в ходе которого обсуждаются вопросы и ответы в рамках стрессового сценария, построенного по принципу “что будет, если...”;
• в проактивном характере такой оценки, позволяющей прогнозировать критические функциональные и структурные проблемы реализации программы.