GraphPad Prism. Сравнение двух групп

Как я уже говорила, разные методы анализа в Призме привязаны к типу таблиц и типу данных. И начнём мы с таблиц с колонками, тем более, что ранее уже немного залезали в их анализ. В стартовом диалоге начинаем со стандартных датасетов. Призма предусмотрела разные варианты данных на разные тесты.

Например, t-test - Unpaired будет представлять из себя две несвязанные выборки, а Paired – две связанные. В таблице с ANOVA будет несколько выборок, в случае с Ordinary – для несвязанных выборок, а repeated measures – для связанных.

Напомню, что выборки являются несвязанным (или независимыми), если объекты в них разные. Например, мы сравниваем оценки разных классов в школе, потому что предположили, что А класс 666 школы – самый сильный по сравнению с классами Б, В, Г и тем более Д. Выборки связаны или зависимы, если один и тот же объект измеряется несколько раз в течение времени. Например, мы решили посмотреть, не падают ли оценки учеников А класса с течением времени, а то вдруг они загордились собой, расслабились и стали хуже учиться. Тогда мы сравниваем каждого ученика с самим собой в прошлом.

Но сегодня мы снова откроем Entering replicate data и будем представлять себе разный дизайн эксперимента у один и тех же данных. Получаем уже знакомую табличку с тремя группами: без лечения, плацебо и лечение. И сразу переходим во кладку с анализом

Здесь есть разные варианты анализа данных, по самому первому посту серии нам уже знаком descriptive statistics, так что на нём я останавливаться не буду

Если мы выберем t-test (and nonparametric test), то программа на нас наругается. А всё потому, что в правой части у нас стоят галочки на трёх группах, а Т-критерий Стьюдента работает только с двумя. Поэтому предлагаю снять выделение с группы Untreated и оставить только лекарство и плацебо.

Открывается следующее диалоговое окно

В первой вкладке нам предлагают уточнить параметры теста.

Unpaired – это независимые выборки. Мы давали плацебо и лекарство разным пациентам и теперь сравниваем их показатели

Paired – это связанные выборки. Наши пациенты сначала принимали плацебо, а потом стали пить лекарство. В этом случае сравниваем попарно показатели каждого пациента на разном типе терапии. Хотя при таком дизайне показатели при терапии чаще сравнивают не с плацебо, а с состоянием до приёма лекарства.

Далее программа спрашивает у нас «Предположим гауссовское распределение?»

И это вопрос интересный. Нас, биологов, классически учили, что для применения параметрических тестов типа t-теста или ANOVA нужно, чтобы данные были распределены нормально. Теперь выясняется, что это не совсем так.

Подробнее про это можно почитать у Бластим или посмотреть соответствующее видео разрушителей статистических мифов. Я лишь скажу краткое резюме: если у вас большая выборка непрерывных данных (по некоторым источникам больше 30), то t-тест применять можно. Если выборка маленькая, то как будто бы и неплохо проверить на нормальность, но любой тест вам скорее всего соврёт, потому что на маленьких выборках тесты склонны завышать p. Поэтому вроде как тоже можно применять

Более того, говорят, что t-тест нельзя использовать для дискретных данных, то есть тех, что не могут быть поделены на доли, например количество людей a.k.a. полтора землекопа. Но форумы сообщают, что при больших выборках всё же можно.

В общем получается, что непараметрические тесты стоит использовать только для малых выборок дискретных данных. Но и это не точно.

Следующий пункт в диалоговом окне тоже интересный. Неоднократно читала, в том числе в руководстве GraphPad, что для применения t-теста обязательно требуется равенство дисперсий выборок. Но на практике в своих малых выборках я этого равенства никогда не получала (проверка тестом Фишера или Levene's Test). Но существует специальный вариант t-критерия с поправкой Уэлча (или t-критерий Уэлча), который позволяет проверять равенство математических ожиданий неоднородных выборок. Коллеги из Бластим рекомендуют использовать этот тест «по умолчанию», поскольку даже в случае равных дисперсий результат будет такой же как и при обычном t-тесте. Хотя там же ссылаются на возражения, которые, в итоге, предлагают использовать обычный t-тест в любой непонятной ситуации. На основании этого всего я бы заключила, что при больших выборках – действительно лучше брать t-тест, а на малых – можно и сделать поправочку Уэлча.

Если мы выберем Paired тест, то менюшка немного изменится

Внизу появились варианты Paired t test или Ratio paired t test. Первый будет учитывать абсолютную разницу между значениями до/после и нужен, когда разница более-менее постоянна. Например, цены на бензин после Нового года на всех заправках повышаются примерно на одинаковую сумму. Для сравнения будем использовать обычный paired t-test. А вот цены на разные типы продуктов из потребительской корзины повышаются не так однородно в абсолютных значениях, поэтому удобнее использовать соотношение после/до. Вообще Ratio paired t-test для сравнения использует логарифм этого соотношения, поэтому очень важно, чтобы в данных не было отрицательных значений или нулей.

Посмотрим, что ещё непараметрического предлагает нам Призма. В случае независимых выборок видим тест Манна-Уитни и Колмогорова-Смирнова

Очень грубо говоря, тест Манна-Уитни использует ранжирование данных от большего к меньшему и смотрит разницу между средними рангами двух выборок. Критерий Колмогорова-Смирнова сравнивает распределение двух выборок и даёт различия в случае расхождения, причём даже если у данных одинаковые медианы, но разный разброс. Традиционно все выбирают именно Манна-Уитни, лично мне Колмогоров-Смирнов пригодился один раз, когда нужно было сравнить распределение численности клонов стволовых клеток.

Из непараметрических тестов для связанных выборок Призма предлагает только критерий Уилкоксона

Он тоже ранговый, как и Манн-Уитни, но ранжирует не сами значения в двух выборках, а разницы между каждой парой значений

Теперь давайте глянем на следующую вкладку под названием Residuals 

Вообще про остатки обычно говорят в регрессиях, но и для t-критерия они играют немаловажную роль. Некоторые пишут, что если остатки распределены нормально, то тогда и распределение выборочных средних тоже будет нормальным, а значит соблюдаются допущения t-критерия. Для больших выборок в этом смысла нет, а для малых опять же высока вероятность некорректной работы теста. Но в целом проверять на нормальность остатки лучше, чем исходную выборку.

Остатки для разных критериев вычисляются по-разному.

• Для t-теста для двух независимых выборок – это разность между значением выборки и средним значением этой группы

• Для парного t-теста – это разность между разностью двух парных значений и средним значением всех таких разностей в наборах данных (простите за тавтологию)

• Для Манна-Уитни – это разность между значением и медианой этой группы

• Для Уилкоксона – это разность между разностью двух парных значений и медианой всех таких разностей в наборах данных (простите за тавтологию 2).

Теперь про само диалоговое окно.

1. Сначала нам предлагается выбрать какой график остатков построить. Вообще для t-теста может пригодиться только график квантиль-квантиль (QQ plot), на котором по оси Х отстраиваются фактические остатки, а по Y – теоретически ожидаемые, если бы распределение было нормальным. Если точки лежат на одной прямой, то остатки распределены нормально.

В Residual plot по оси Y величина остатков, а по Х – экспериментальные группы. Можно посмотреть, насколько они отличаются у двух групп и насколько группы однородны. 

Классически в Homoscedasticity plot по Х находится значение выборки (или разница между парами значений в случае связанных выборок), а по Y – значение остатка для этого значения выборки. График должен получаться однородным пятном, без узких и широких мест.

В случае гетероскедастичности дисперсия непостоянна и t-тест лучше не использовать.

Но призма строит вот такой график, где по Y модуль абсолютного значение остатка, а по Х - группа.

Строки в тепловой карте (heatmap) соответствуют строкам в исходной таблице, а цветовая кодировка – величина остатка.

2. Внизу в этом окне можно поставить галочку на проверку остатков на нормальность с помощью трёх разных тестов.

Для непараметрических тестов окошко с QQ plot и проверкой на нормальность доступны не будут, а для теста Колмогорова-Смирнова вообще всё на вкладке будет неактивно.

3. И последнюю галочку можно установить на то, чтобы сделать выбранные параметры параметрами по умолчанию.

Теперь идёт на последнюю вкладку с опциями

1. Для начала нам предлагается выбрать какой вариант теста использовать, односторонний или двусторонний. Вот тут немного писала о том, что это значит для z-оценки. Здесь в случае двустороннего варианта мы предполагаем, что выборки не отличаются или одна больше или меньше другой. Односторонний вариант проверяет разницу параметров только в одну сторону (больше или меньше), в то время как двусторонний вариант допускает всё. И поскольку мы заведомо ничего о генеральной совокупности знать не можем, то по умолчанию лучше использовать двусторонний вариант.

Затем предлагается выбрать порядок сравнения групп, но в случае двустороннего варианта – это не имеет значения.

2. Confidence level или уровень достоверности связан с вероятностью ошибки I рода и обычно составляет 95% (то есть α=0.05 и p значение будем сравнивать с 0.05). Но в целом можно выбрать и 99%, хотя тогда увеличится вероятность ошибки II рода.

Далее можно построить дополнительные графики

3. Graph differences (paired) строится очевидно только для парного t-теста и критерия Уилкоксона и отображает разницу между двумя значениями

4. Graph ranks (nonparametric) используется для непараметрических тестов и отражает ранги либо для значений выборок в случае Манна-Уитни, либо ранг разницы между парами

5. На Graph correlation (paired) по осям располагаются значения переменных

6. Graph confidence interval of differences between means отражает разницу между средними двух групп и её 95% доверительный интервал. То есть с вероятностью 0,95 истинная разница средних двух генеральных совокупностей будет лежать в этих пределах

Далее смотрим какие дополнительные результаты может выдать Призма

7. Descriptive statistics – описательная статистика для каждой колонки. Можно запусутить отдельный анализ, как мы это делали в первой части, а можно и отсюда

8. Also compare models using AICc – сложная штука, связанная с тем, что t-тест может выполняться с помощью двух моделей и эта вкладка позволяет посмотреть какая модель лучше.

9. Mann-Whitney: Also compute the CI of difference between medians – считает доверительные интервалы для разницы медиан и работает только с критерием Манна-Уитни

10. Wilcoxon: When both values on a row are identical, use method of Pratt – вот эта штука может быть полезной, если в связанных выборках значения параметра в паре совпадают (то есть разница между ними равна 0). Обычно тест Уилкоксона просто игнорирует эти данные, а галочка тут позволит использовать и эти данные тоже

11. И последняя часть связана с тем, как выводить данные, то есть сколько у p-значения должно быть знаков после запятой и как разный уровень значимости кодировать звёздочками. Лично я проставляю по схеме * - p<0.05; ** - p<0.01, *** - p<0.001, **** - p<0.0001, но только потому, что так было заведено в моей первой лаборатории. В Призме это последний вариант – show N digits after the decimal.

Теперь я предлагаю взглянуть на табличку с результатом. Для анализа я выбрала непарный t-тест с поправкой Уэлча

Конечно же в первую очередь нас интересует p-значение и оно равно 0.0261, то есть мы отклоняем нулевую гипотезу и считаем различия между группами значимыми. Собственно это нам подсказывает 10 строчка.

Также призма считает среднее по каждой колонке, разницу между ними, стандартное отклонение и доверительный интервал этой разницы.

Интересная штука R squared (eta squared) – это доля всех вариаций в выборках, которая объясняется разницей между средними значениями в группах, а не вариацией внутри выборки. Чем ближе этот параметр к 1, тем больше разница. В целом косвенно отражает размер эффекта.

F test to compare variances – это результаты F-теста для сравнения дисперсий, который показал, что различий между ними нет. И кстати, мы могли бы и не использовать поправку Уэлча

Ну и в конце наш позорный маленький размер выборок.

Вот так вот потихоньку разобрались с t-тестом и в качестве домашнего задания предлагаю поиграться c программой и потыкать на кнопочки в стандартных датасетах t test Unpaired и t test Paired