Поправка на мно́жественную проверку гипотез ( англ. multiple comparisons, multiplicity, multiple testing problem ) — способ устранения эффекта множественных сравнений , возникающего при необходимости построения семейства статистических выводов. Во время проверки статистических гипотез при отвержении основной гипотезы (H ₀ ) возможна ошибка (ложное отклонение гипотезы, ошибка первого рода ). Вероятность такого события ограничивается неким малым предварительно выбранным значением — уровнем значимости ${\displaystyle \alpha }$ (обычно ${\displaystyle \alpha =0{,}05}$ ). Тогда при построении ${\displaystyle m}$ выводов верхняя оценка вероятности того, что хотя бы один из них будет неверным, равна ${\displaystyle 1-(1-\alpha )^{m}}$ , что достаточно велико уже при небольших ${\displaystyle m}$ (например, при ${\displaystyle m=5}$ , ${\displaystyle \alpha =0{,}05}$ она равна ${\displaystyle \approx 22{,}6\%}$ ). Для устранения этого эффекта было разработано несколько подходов .

История

Первым упоминанием о проблеме множественных сравнений можно считать рассуждение Антуана Августина Курно в работе Exposition de La Theorie Des Chances Et Des Probabilites (1843) о том, что при разделении популяции на как можно большее число групп рано или поздно найдется группа, значимо отличная от остальной совокупности. Тогда проблема была сочтена нерешаемой .

Следующая после работы Бонферрони (Teoria statistica delle classi e calcolo delle probabilità, 1936) волна интереса к проблеме множественного тестирования возникла в 1950-х годах в связи с работой Джона Тьюки и . Последующие работы были направлены на увеличение мощности поправок. Так, более мощная поправка Холма-Бонферрони была разработана в 1979 году. В 1995 году со статьи Бенджамини и Хохберга начались работы по FDR (доле ложных отклонений гипотез), что дало возможность тестировать большое количество гипотез .

В 1996 была проведена первая конференция по множественной проверке гипотез в Израиле , после чего она проходила каждые два года по всему миру .

Обозначения

	Нулевая гипотеза верна	Нулевая гипотеза неверна	Всего
Принимаем гипотезу	${\displaystyle U}$	${\displaystyle T}$	${\displaystyle W}$
Отвергаем гипотезу	${\displaystyle V}$	${\displaystyle S}$	${\displaystyle R}$
Всего	${\displaystyle m_{0}}$	${\displaystyle m-m_{0}}$	${\displaystyle m}$

• ${\displaystyle m}$ — общее число гипотез
• ${\displaystyle m_{0}}$ — число верных гипотез, неизвестный параметр
• ${\displaystyle m-m_{0}}$ — число неверных гипотез
• ${\displaystyle V}$ — число ложноположительных результатов false positives (ошибок первого рода)
• ${\displaystyle S}$ — число истинно положительных результатов ( true positives )
• ${\displaystyle T}$ — число ложноотрицательных результатов false negatives (ошибок второго рода)
• ${\displaystyle U}$ — число истинно отрицательных результатов ( true negatives )
• ${\displaystyle R}$ — число отвергнутых нулевых гипотез. ${\displaystyle R}$ и ${\displaystyle W}$ — наблюдаемые величины, а ${\displaystyle S}$ , ${\displaystyle T}$ , ${\displaystyle U}$ и ${\displaystyle V}$ — ненаблюдаемые.

Методы решения проблемы множественных сравнений

При слишком большом количестве испытаний увеличивается вероятность получить ложно-положительный результат (увеличение числа совершенных ошибок первого рода ${\displaystyle V}$ ). Задача состоит в том, чтобы выбрать метод, допускающий минимальное число ложных отклонений гипотез ${\displaystyle V}$ и ложных принятий ${\displaystyle T}$ . Для этого необходимо выбрать другое правило отвержения гипотез. Для задачи множественной проверки гипотез существует большое количество величин, обобщающих определение ошибки первого рода. Наиболее известны следующие:

• FWER — , групповая вероятность ошибки первого рода: ${\displaystyle {\text{FWER}}=P(V\geq 1)}$ ;
• FDP — false discovery proportion, доля ложных отклонений гипотез (среди всех отклонений): ${\displaystyle {\text{FDP}}={\begin{cases}{\frac {V}{R}},R>0\\0,R=0\end{cases}}}$ ;
• FDR — , средняя доля ложных отклонений гипотез (среди всех отклонений): ${\displaystyle {\text{FDR}}=E[{\text{FDP}}]}$ .

Для каждой из приведенных мер существует свой способ ужесточения порога на значимость.

Групповая вероятность ошибки первого рода

Одна из мер, обобщающих ошибку первого рода, рассматриваемую при проверке статистических гипотез. Величина определяется как вероятность совершения хотя бы одной ошибки первого рода . По определению: ${\displaystyle {\text{FWER}}=P(V\geq 1)}$ . Контроль над FWER на фиксированном уровне значимости ${\displaystyle \alpha }$ означает, что выполняется неравенство ${\displaystyle {\text{FWER}}\leq \alpha }$ .

Существует несколько методов контроля FWER.

Поправка Бонферрони

Метод утверждает, что для уменьшения ложноположительных результатов необходимо отклонить те гипотезы, для которых p-value по критерию ${\displaystyle p_{i}<\alpha /m}$ . Данная поправка позволяет получить ${\displaystyle {\text{FWER}}\leq \alpha }$ , потому что

из следует, что для конечного или счетного набора событий, вероятность того, что произойдет хотя бы одно не больше, чем сумма вероятностей индивидуальных событий. Таким образом, если каждый индивидуальный тест будет проверяться на уровне значимости ${\displaystyle {\frac {\alpha }{m}}}$ , где ${\displaystyle m}$ - количество рассматриваемых гипотез, то для всего семейства гипотез уровень значимости фиксируется на уровне ${\displaystyle \alpha }$ :

${\displaystyle {\text{FWER}}=P(V\geq 1)=P\left\{\bigcup _{i=1}^{m}\left(p_{i}\leq {\frac {\alpha }{m}}\right)\right\}\leq \sum _{i=1}^{m}P\left(p_{i}\leq {\frac {\alpha }{m}}\right)\leq m{\frac {\alpha }{m}}=\alpha }$ ,

где ${\displaystyle V}$ — количество отвергнутых истинных гипотез .

Замечания

При увеличении ${\displaystyle m}$ в результате применения поправки Бонферрони мощность статистической процедуры резко уменьшается — шансы отклонить неверные гипотезы падают .

Метод Холма (поправка Холма — Бонферрони)

Метод Холма ( ) равномерно более мощный, чем поправка Бонферрони, и решает проблему падения мощности при росте числа гипотез . Нисходящий метод .

Пусть ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)}}$ — ${\displaystyle p_{i}}$ , упорядоченные от наименьшего к наибольшему. ${\displaystyle H_{(1)},...,H_{(m)}}$ — соответствующие ${\displaystyle p_{(i)}}$ нулевые гипотезы. Процедура Холма определена следующим образом .

• Шаг 1. Если ${\displaystyle p_{(1)}\geq {\frac {\alpha }{m-1+1}}}$ , принять гипотезы ${\displaystyle H_{(1)},...,H_{(m)}}$ и остановиться. Иначе, если ${\displaystyle p_{(1)}<{\frac {\alpha }{m-1+1}}}$ , отвергнуть гипотезу ${\displaystyle H_{(1)}}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\displaystyle {\frac {\alpha }{m-2+1}}}$ .
• Шаг 2. Если ${\displaystyle p_{(2)}\geq {\frac {\alpha }{m-2+1}}}$ , принять гипотезы ${\displaystyle H_{(2)},...,H_{(m)}}$ и остановиться. Иначе, если ${\displaystyle p_{(2)}<{\frac {\alpha }{m-2+1}}}$ , отвергнуть гипотезу ${\displaystyle H_{(2)}}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\displaystyle {\frac {\alpha }{m-3+1}}}$ .
• И т. д.

Процедура обеспечивает ${\displaystyle {\text{FWER}}\leq \alpha }$ . Она равномерно мощнее метода Бонферрони .

Пример

Рассмотрим проверку 4-х гипотез при ${\displaystyle \alpha =0{,}05}$ . Пусть для них получены p-value: 0,01; 0,04; 0,03 и 0,005. Расставим их по возрастанию: 1) 0,005; 2) 0,01; 3) 0,03; 4) 0,04. Будут проверены следующие неравенства:

1. ${\displaystyle 0{,}005<{\frac {0{,}05}{4}}}$ → отклоняем данную нулевую гипотезу, двигаемся дальше.
2. ${\displaystyle 0{,}01<{\frac {0{,}05}{4-1}}}$ → отклоняем данную нулевую гипотезу, двигаемся дальше.
3. ${\displaystyle 0{,}03\geq {\frac {0{,}05}{4-2}}}$ → принимаем эту и следующую нулевые гипотезы, останавливаемся.

Метод Шидака

Уровень значимости для ${\displaystyle m}$ гипотез задаются следующим образом: ${\displaystyle \alpha _{m}=1-(1-\alpha )^{1/m}}$ . Метод дает FWER ${\displaystyle \leq \alpha }$ при условии, что статистики ${\displaystyle T_{i}}$ независимы или выполнено свойство «положительной зависимости» :

${\displaystyle \mathrm {P} (T_{1}\leq t_{1},...,T_{m}\leq t_{m})\geq \prod _{i=1}^{m}\mathrm {P} (T_{i}\leq t_{i})}$ , ${\displaystyle \forall t}$

Составим вариационный ряд p-значений: ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)}}$ , где ${\displaystyle H_{(1)},...,H_{(m)}}$ - соответствующие гипотезы. Процедура выглядит так:

1. Если ${\displaystyle p_{(1)}\geq \alpha _{1}}$ , то принимаем все гипотезы ${\displaystyle H_{(1)},...,H_{(m)}}$ и останавливаемся, иначе отвергаем ${\displaystyle H_{(1)}}$ и продолжаем;
2. Если ${\displaystyle p_{(2)}\geq \alpha _{2}}$ , то принимаем все гипотезы ${\displaystyle H_{(2)},...,H_{(m)}}$ и останавливаемся, иначе отвергаем ${\displaystyle H_{(2)}}$ и продолжаем;
3. … и т. д.

Метод Шидака-Холма

Нисходящая процедура. Уровни значимости для ${\displaystyle m}$ гипотез задаются следующим образом : ${\displaystyle \alpha _{1}=1-(1-\alpha )^{1/m},\dots ,\alpha _{i}=1-(1-\alpha )^{\frac {1}{m-i+1}},\dots ,\alpha _{m}=\alpha }$

Контролирует FWER на уровне значимости ${\displaystyle \alpha }$ , если статистики независимы в совокупности. Если статистики независимы в совокупности, нельзя построить контролирующую FWER на уровне ${\displaystyle \alpha }$ процедуру мощнее, чем метод Шидака-Холма. При больших ${\displaystyle m}$ мало отличается от метода Холма .

Средняя доля ложных отклонений

Данная величина определяется как математическое ожидание доли ошибок среди отвергнутых гипотез.

Определим ${\displaystyle Q}$ как отношение числа неверно отвергнутых гипотез ${\displaystyle V}$ ко всем отвергнутым гипотезам ${\displaystyle R}$ : ${\displaystyle Q=V/R}$ . Таким образом, FDR:

${\displaystyle {\text{FDR}}=Q_{\textrm {e}}=E[Q]=E\left[{\frac {V}{V+S}}\right]=E\left[{\frac {V}{R}}\right]}$ при ${\displaystyle R>0}$ .

Контроль над FDR на уровне ${\displaystyle \alpha }$ означает, что:

${\displaystyle {\text{FDR}}=E\left({\frac {V}{R}}\right)\leq \alpha }$ .

Метод Беньямини — Хохберга

Это восходящая процедура со следующими уровнями значимости :

${\displaystyle \alpha _{1}={\frac {\alpha }{m}},\ ...,\ \alpha _{i}={\frac {i\alpha }{m}},\ ...,\ \alpha _{m}=\alpha }$ .

Пусть ${\displaystyle p_{(1)}\leq \,...\,\leq p_{(m)}}$ — уровни значимости ${\displaystyle p_{i}}$ , упорядоченные от наименьшего к наибольшему. ${\displaystyle H_{(1)},...,H_{(m)}}$ — соответствующие ${\displaystyle p_{(i)}}$ гипотезы. Процедура Беньямини — Хохберга определена следующим образом.

• Шаг 1. Если ${\displaystyle p_{(1)}\geq {\frac {\alpha }{m}}}$ , принять гипотезы ${\displaystyle H_{(1)},...,H_{(m)}}$ и остановиться. Иначе, если ${\displaystyle p_{(1)}<{\frac {\alpha }{m}}}$ , отвергнуть гипотезу ${\displaystyle H_{(1)}}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\displaystyle {\frac {2\alpha }{m}}}$ .
• Шаг 2. Если ${\displaystyle p_{(2)}\geq {\frac {2\alpha }{m}}}$ , принять гипотезы ${\displaystyle H_{(2)},...,H_{(m)}}$ и остановиться. Иначе, если ${\displaystyle p_{(2)}<{\frac {2\alpha }{m}}}$ , отвергнуть гипотезу ${\displaystyle H_{(2)}}$ и продолжить проверку оставшихся гипотез на уровне значимости ${\displaystyle {\frac {3\alpha }{m}}}$ .
• И т. д.

Если статистики ${\displaystyle T_{i}}$ независимы, этот метод контролирует FDR на уровне ${\displaystyle \alpha }$ .

Масштабное множественное тестирование

Во многих исследованиях, к примеру в области геномики , требуется проверять тысячи или даже значительно больше гипотез. В области исследований генетических ассоциаций существует проблема невоспроизводимости результатов: результат, сильно значимый в одном исследовании, не повторяется в следующем. Причиной этого являются в том числе и последствия множественного тестирования .

В разных областях науки отношение к множественному тестированию неоднозначное. Есть мнение, что использование поправки на множественное сравнение, когда есть серьезные основания считать, что результаты будут правдивыми, не обязательно . Также утверждается, что поправка на множественное тестирование — неэффективный метод проведения эмпирических исследований , потому что, контролируя ложно-положительные результаты, он приводит к появлению большого количества ложно-отрицательных. Однако с другой стороны утверждается, что усовершенствования в методах измерения и информационных технологиях облегчили появление больших наборов данных для разведочного анализа , что приводит к тестированию большого числа гипотез без предварительного предположения о том, что большинство из них правдивы. А это означает большое количество ложно положительных результатов, если поправка на множественное тестирование не проводится.

В масштабных тестированиях, если надо получить точные результаты, то лучше всего использовать FWER, однако если исследование разведочное и значимые результаты будут проверяться в независимом исследовании, предпочитают использовать FDR . FDR, определяемое как ожидаемая доля ложно-положительных результатов среди всех положительных (значимых), позволяет определять набор «положительных кандидатов», которых можно рассматривать в дальнейших исследованиях .

Практика проводить много сравнений без поправки в надежде найти что-то значимое, применяемая сознательно или нет, иногда называется «p-hacking» .

Применение в биоинформатике

Проблема множественного сравнения в биологии встречается повсеместно при анализе данных , так как одновременно происходит анализ множества переменных. Так, в полногеномных исследованиях ассоциаций и анализе дифференциальной экспрессии генов тестируется одновременно от сотен тысяч до миллионов гипотез. В большинстве случаев используется поправка Бонферрони или общепринятый для GWAS порог p-value ${\displaystyle 5\cdot 10^{-8}}$ , однако при этом происходит падение мощности исследования с сопутствующим ростом риска ложно-отрицательных результатов. Также нарушается предположение поправки Бонферрони о независимости проводимых сравнений, поскольку существует неравновесное сцепление генов , когда частоты сочетаний SNP отличаются от ожидаемых при условии отсутствия сцепления, поэтому встает вопрос, сколько проведено реальных независимых сравнений. Можно определить число независимых сравнений в таких условиях как число главных компонент , совокупно покрывающих более ${\displaystyle 99,5\%}$ дисперсии исследуемых данных, тогда порог p-value, обеспечивающий статистическую значимость на уровне ${\displaystyle \alpha }$ , пересчитывается следующим образом:

${\displaystyle \alpha _{GWAS}={\frac {\alpha }{n_{components}}}}$

Также для решения проблемы множественных сравнений используются пермутационные тесты , такие как . Предположение пермутационных тестов заключается в том, что если сравниваемые выборки пришли из одной совокупности, то обмен элементами между выборками не должен привести к значительному изменению тестовой статистики. Примерный общий алгоритм пермутационных тестов выглядит следующим образом :

1. Рассчитывается значение тестовой статистики для выборок экспериментальных данных
2. Выборки объединяются в единый пул
3. Из пула данных формируются случайным образом выборки такого же размера
4. Рассчитывается значение тестовой статистики для нового набора выборок
5. Многократным повторением пунктов 2-4 строится распределение тестовой статистики
6. Исходя из построенного распределение и экспериментального значения тестовой статистики определяется p-value

При применении пермутационных тестов не требуется собственно коррекция уровня значимости или тестовых p-value. Пермутационные тесты не чувствительны к несбалансированности выборок, что полезно при анализе биологических данных .

См. также

• Ошибки первого и второго рода

Примечания

Литература

• E. L. Lehmann, J. P. Romano. Chapter 9: Multiple testing and simultaneous inference // Testing statistical hypotheses : [ англ. ] . — 3rd ed. — New York : Springer, 2005. — 786 p.
• Peter H. Westfall, S. Stanley Young. Resampling-Based Multiple Testing: Examples and Methods for p-Value Adjustment : [ англ. ] . — Wiley, 1993. — 360 p. — ISBN 978-0-471-55761-6 .