Comparing Network Structures on Three Aspects: A Permutation Test

За последние годы сетевой анализ стал одним из самых заметных альтернативных подходов в психометрике по отношению к моделям латентных переменных. В рамках сетевого анализа наблюдаемые переменные (симптомы, ответы на пункты теста, когнитивные показатели и т.п.) рассматриваются не как индикаторы стоящего за ними латентного конструкта, а как самостоятельные элементы, напрямую связанные друг с другом. Вид конкретной сетевой модели при этом зависит от типа используемых переменных и предполагаемой структуры зависимостей между ними.

Наиболее распространённым вариантом для непрерывных переменных стала Гауссовская графическая модель (Gaussian Graphical Model, GGM), в которой рёбра интерпретируются как условные зависимости между переменными при контроле всех остальных, а для бинарных данных используется модель Изинга (Ising model). Во всех этих случаях сеть представляет собой ненаправленный граф, где наличие ребра означает, что связь между двумя переменными не может быть объяснена влиянием других узлов сети. Предполагается, что такие элементы могут взаимно усиливать или ослаблять проявления, формируя устойчивые конфигурации связей.

Первые исследования в сетевой психометрике носили в основном разведывательный характер. Как правило, анализировалась одна выборка, строилась одна сеть, выделялись центральные узлы, а выводы формулировались на основе визуального сравнения и интерпретации структуры. Однако по мере развития этого подхода всё более актуальным становился вопрос о сравнении сетей между группами: отличаются ли сети для клинических и неклинических выборок, меняется ли структура связей после интервенции, усиливается ли общая связность при наличии факторов риска и т.п.

Именно здесь обнаружилась серьёзная методологическая проблема. Большинство стандартных статистических тестов плохо подходят для сравнения сетевых моделей. Во-первых, они часто предполагают нормальность распределения параметров, тогда как сетевые модели в психологии обычно оцениваются с помощью регуляризации (например, LASSO), которая делает распределение параметров ненормальным. Во-вторых, даже непараметрические тесты нередко проверяют не подходящую для сетевого анализа нулевую гипотезу. Например, Mantel test проверяет гипотезу о нулевой корреляции между матрицами, тогда как при сравнении сетей нас интересует их равенство.

В статье Claudia D. van Borkulo и соавторов (2023) предлагается Network Comparison Test (NCT), который реализован в одноимённом R-пакете NetworkComparisonTest и учитывает указанные выше проблемы. Тест основан на логике permutation test. Ключевая идея состоит в следующем: если в популяции различий между группами нет, то принадлежность наблюдений к группам является статистически несущественной. Иными словами, при истинной нулевой гипотезе наблюдения можно свободно перераспределять между группами, не нарушая структуру данных.

Network Comparison Test строится в три логически последовательных шага. На первом шаге анализируются наблюдаемые данные. Для каждой из сравниваемых групп оцениваются сети и необходимые параметры, после чего на их основе вычисляется выбранная статистика различия между группами, например разница в глобальной силе сети или максимальное различие между отдельными ребрами. Это значение представляет собой наблюдаемую тестовую статистику.

На втором шаге формируется референтное распределение тестовой статистики. Для этого данные из обеих групп объединяются и многократно случайно перераспределяются между группами с сохранением исходных размеров выборок. Для каждой такой перестановки сети оцениваются заново, и для них вычисляется та же самая тестовая статистика, что и на исходных данных. В результате получается эмпирическое распределение значений тестовой статистики при условии истинности нулевой гипотезы равенства сетей в группах.

На третьем шаге оценивается статистическая значимость наблюдаемого различия. Наблюдаемое значение тестовой статистики, полученное на первом шаге, сравнивается с референтным распределением, построенным на втором шаге. Значение p-value определяется как доля перестановок, в которых значение тестовой статистики оказалось не меньше, то есть как минимум столь же экстремальным, чем наблюдаемое значение. Если наблюдаемая статистика оказывается более экстремальной, чем можно ожидать при нулевой гипотезе, нулевая гипотеза равенства сетей отвергается.

В статье авторы фокусируются на трёх типах статистик, иллюстрирующих как глобальные, так и локальные различия между сетями. Во-первых, рассматривается тест на инвариантность структуры сети в целом - омнибус-тест, проверяющий гипотезу о равенстве всех рёбер одновременно.  Во-вторых, используются тесты на инвариантность силы отдельных рёбер, которые применяются либо при наличии априорных гипотез о конкретных связях, либо как пост-хок анализ после значимого омнибус-теста. В-третьих, рассматривается тест на инвариантность глобальной силы сети, определяемой как суммарная абсолютная связность всех рёбер. Эти показатели отражают разные аспекты различий между сетями и могут вести себя независимо: сети могут иметь одинаковую глобальную силу, но различаться по структуре связей, и наоборот. Важно подчеркнуть, что пермутационная процедура NCT является общей и допускает использование других сетевых характеристик в качестве статистики различия.

В статье авторы показывают результаты симуляционных исследований, свидетельствующих о том, что NCT корректно контролирует ошибки первого рода. Статистическая мощность зависит как от размера выборки, так  и от величины различий между сетями. Особенно хорошо выявляются различия в глобальной силе, тогда как тонкие структурные изменения требуют больших выборок. Для бинарных данных поведение теста в целом аналогично, хотя мощность ниже, особенно при неравных размерах групп.

В более широком смысле NCT является важным шагом в развитии сетевой психометрики. Он переводит сравнение сетей из области визуальных и интуитивных рассуждений в область формального статистического вывода. При этом он наглядно демонстрирует сильную сторону пермутационного подхода: нулевая гипотеза здесь не является абстрактным математическим утверждением, а реализуется как механизм генерации данных. Именно поэтому интерпретация p-value в таком тесте оказывается значительно более прозрачной, чем в стандартных параметрических процедурах.

Статья:

Van Borkulo, C. D., van Bork, R., Boschloo, L., Kossakowski, J. J., Tio, P., Schoevers, R. A., ... & Waldorp, L. J. (2023). Comparing network structures on three aspects: A permutation test. Psychological methods, 28(6), 1273.