Байесовское иерархическое моделирование — это статистическая модель , записанная в виде нескольких уровней (в иерархическом виде), которая оценивает апостериорного распределения используя байесовский метод . Подмодели комбинируются в иерархическую модель и используется теорема Байеса для объединения их с наблюдаемыми данными и учёта всех присутствующих неопределённостей. Результатом этого объединения является апостериорное распределение, известное также как уточнённая оценка вероятности после того, как получены дополнительные сведения об априорной вероятности .

Введение

, наиболее популярное , может дать заключение по внешнему виду несовместимое с заключением, которое даёт байесовская статистика, поскольку байесовский подход трактует параметры как случайные величины и использует субъективную информацию для установления допущений на эти параметры . Так как подходы отвечают на разные вопросы, формальные результаты технически не являются противоречивыми, но два подхода расходятся во мнении, какой ответ относится к конкретным приложениям. Приверженцы байесовского подхода утверждают, что относящаяся к принятию решения информация и обновление уверенностей нельзя игнорировать и что иерархическое моделирование имеет потенциал взять верх над классическими методами в приложениях, где респондент даёт несколько вариантов данных наблюдений. Более того доказано, что модель робастна с меньшей чувствительностью апостериорного распределения к изменчивым иерархическим априорным данным.

Иерархическое моделирование используется, когда информация доступна в нескольких различных уровнях наблюдаемых величин. Иерархический вид анализа и представления помогают в понимании многопараметрических задач и играют важную роль в разработке вычислительных стратегий .

Философия

Многочисленные статистические приложения используют несколько параметров, которые можно считать как зависимые или связанные таким образом, что задача предполагает зависимость модели совместной вероятности этих параметров .

Индивидуальные степени уверенности, выраженные в форме вероятностей, имеют свою неопределённость . Кроме того, возможны изменения степени уверенности со времени. Как утверждали профессор Жозе М. Бернардо и профессор Адриан Ф. Смит, «Актуальность процесса обучения состоит в эволюции индивидуальной и субъективной уверенности о реальности». Эти субъективные вероятности привлекаются в разум более непосредственно, чем физические вероятности . Следовательно, это требует обновления уверенности, и сторонники байесовского подхода сформулировали альтернативную статистическую модель, которая принимает во внимание априорные случаи конкретного события .

Теорема Байеса

Предполагаемое получение реального события обычно изменяет предпочтения между определёнными вариантами. Это делается путём изменения степени доверия к событиям, определяющим варианты .

Предположим, что при изучении эффективности сердечной терапии пациентов в госпитале j , имеющих вероятность выживания ${\displaystyle \theta _{j}}$ , вероятность выживания обновляется при событии y , заключающемся в создании гипотетической сомнительной сыворотки, которая, как думают некоторые, увеличивает выживание больных с сердечными проблемами.

Чтобы сделать обновлённые утверждения о вероятности ${\displaystyle \theta _{j}}$ , задающее возникновение события y , мы должны начать с модели, обеспечивающей совместное распределение вероятностей для ${\displaystyle \theta _{j}}$ и y . Это может быть записано как произведение двух распределений, которые часто упоминаются как априорная вероятность ${\displaystyle P(\theta )}$ и выборочное распределение ${\displaystyle P(y\mid \theta )}$ соответственно:

${\displaystyle P(\theta ,y)=P(\theta )P(y\mid \theta )}$

Если использовать основное свойство условной вероятности , апостериорное распределение даст:

${\displaystyle P(\theta \mid y)={\frac {P(\theta ,y)}{P(y)}}={\frac {P(y\mid \theta )P(\theta )}{P(y)}}}$

Равенство, показывающее связь между условной вероятностью и индивидуальными событиями, известно как теорема Байеса. Это простое выражение воплощает техническое ядро байесовского вывода, которое нацелено на включение обновлённого доверия ${\displaystyle P(\theta \mid y)}$ в уместном и разрешимом виде .

Перестановочность

Обычной стартовой точкой статистического анализа является предположение, что n значений ${\displaystyle y_{n}}$ перестановочны. Если никакой информации, отличной от данных y , недоступно для различения любого ${\displaystyle \theta _{j}}$ от любого другого и никакого упорядочения или группировки параметров нельзя сделать, следует предполагать симметрию параметров относительно их априорной вероятности . Эта симметрия представлена вероятностной перестановочностью. Обычно полезно и приемлемо моделировать данные из перестановочного распределения как независимые и одинаково распределённые , если дан некоторый неизвестный вектор параметров ${\displaystyle \theta }$ с распределением ${\displaystyle P(\theta )}$ .

Конечная перестановочность

Для фиксированного числа n набор ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ перестановочен, если совместное распределение ${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})}$ инвариантно относительно перестановок индексов. То есть, для любой перестановки ${\displaystyle \pi }$ or ${\displaystyle (\pi _{1},\pi _{2},\ldots ,\pi _{n})}$ индексов (1, 2, …, n ), ${\displaystyle P(y_{1},y_{2},\ldots ,y_{n})=P(y_{\pi _{1}},y_{\pi _{2}},\ldots ,y_{\pi _{n}}).}$

Ниже приведён пример перестановочной, но не независимой и одинаково распределённой последовательности: Рассмотрим урну с красными и синими шарами с вероятностями вытаскивания ${\displaystyle {\frac {1}{2}}}$ шаров. Шары вытаскиваются без возврата в урну, то есть, после вытаскивания одного из n шаров в урне остаётся n − 1 шаров для следующего вытаскивания.

Пусть ${\displaystyle Y_{i}={\begin{cases}1,\\0,\end{cases}}}$	если ${\displaystyle i}$ -й шар красный
	иначе.

Поскольку вероятность вытаскивания красного шара при первом вытаскивании и синего шара при втором вытаскивании равна вероятности вытаскивания синего шара при первом вытаскивании и красного при втором, которые обе равны 1/2 (то есть ${\displaystyle [P(y_{1}=1,y_{2}=0)=P(y_{1}=0,y_{2}=1)={\frac {1}{2}}]}$ ), то ${\displaystyle y_{1}}$ и ${\displaystyle y_{2}}$ перестановочны.

Однако вероятность выбора красного шара при втором вытаскивании уже не будет равна 1/2. Таким образом, ${\displaystyle y_{1}}$ и ${\displaystyle y_{2}}$ не независимы.

Если ${\displaystyle x_{1},\ldots ,x_{n}}$ независимы и одинаково распределены, то они перестановочны, но обратное не обязательно верно .

Бесконечная перестановочность

Бесконечная перестановочность — это такое свойство, что любое конечное подмножество бесконечной последовательности ${\displaystyle y_{1}}$ , ${\displaystyle y_{2},\ldots }$ перестановочно. То есть, для любого n последовательность ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$ перестановочна .

Иерархические модели

Составляющие

Байесовское иерархическое моделирование использует две важные концепции для получения апостериорного распределениея , а именно:

1. : параметры априорного распределения
2. : распределения гиперпараметров

Предположим, что случайная величина Y имеет нормальное распределение с параметром θ как среднее и параметром 1 в качестве дисперсии , то есть ${\displaystyle Y\mid \theta \sim N(\theta ,1)}$ . Предположим, что параметр ${\displaystyle \theta }$ имеет распределение, задаваемое нормальным распределением со средним ${\displaystyle \mu }$ и дисперсией 1, то есть ${\displaystyle \theta \mid \mu \sim N(\mu ,1)}$ . Кроме того, ${\displaystyle \mu }$ является другим распределением, заданным, например, стандартным нормальным распределением ${\displaystyle {\text{N}}(0,1)}$ . Параметр ${\displaystyle \mu }$ называется гиперпараметром, в то время как его распределение, заданное как ${\displaystyle {\text{N}}(0,1)}$ , является примером гиперприорного распределения. Обозначение для Y изменяется с добавлением другого параметра, то есть ${\displaystyle Y\mid \theta ,\mu \sim N(\theta ,1)}$ . Если имеется другой уровень, скажем, ${\displaystyle \mu }$ является другим нормальным распределением со средним ${\displaystyle \beta }$ и дисперсией ${\displaystyle \epsilon }$ , что означает ${\displaystyle \mu \sim N(\beta ,\epsilon )}$ , то ${\displaystyle {\mbox{ }}}$ ${\displaystyle \beta }$ и ${\displaystyle \epsilon }$ могут также быть названы гиперпараметрами, а их распределения являются гиперприорными распределениями .

Система

Пусть ${\displaystyle y_{j}}$ будут наблюдениями и ${\displaystyle \theta _{j}}$ будет параметром, который управляет процессом генерации ${\displaystyle y_{j}}$ . Предположим далее, что параметры ${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{j}}$ порождаются перестановочными из основной популяции с распределением, управляемым гиперпараметром ${\displaystyle \phi }$ .

Байесовская иерархическая модель содержит следующие уровни:

Уровень I: ${\displaystyle y_{j}\mid \theta _{j},\phi \sim P(y_{j}\mid \theta _{j},\phi )}$

Уровень II: ${\displaystyle \theta _{j}\mid \phi \sim P(\theta _{j}\mid \phi )}$

Уровень III: ${\displaystyle \phi \sim P(\phi )}$

Правдоподобие, как видно из уровня I, равно ${\displaystyle P(y_{j}\mid \theta _{j},\phi )}$ , c ${\displaystyle P(\theta _{j},\phi )}$ в качестве его априорного распределения. Заметим, что правдоподобие зависит только от ${\displaystyle \phi }$ через ${\displaystyle \theta _{j}}$ .

Априорное распределение из уровня I может быть разбито на:

${\displaystyle P(\theta _{j},\phi )=P(\theta _{j}\mid \phi )P(\phi )}$ [из определения условной вероятности]

где ${\displaystyle \phi }$ является гиперпараметром с гиперприорным распределением ${\displaystyle P(\phi )}$ .

Тогда апостериорное распределение пропорционально этой величине:

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j},\phi )P(\theta _{j},\phi )}$ [используя теорему Байеса]

${\displaystyle P(\phi ,\theta _{j}\mid y)\propto P(y_{j}\mid \theta _{j})P(\theta _{j}\mid \phi )P(\phi )}$

Пример

Для иллюстрации рассмотрим пример: Учитель хочет оценить, насколько хорошо студент выполнил свой SAT тест ( англ. Scholastic Assessment Test ). Он использует информацию о студенте в старших классах и его текущем среднем балле оценок ( англ. grade point average , GPA), чтобы получить оценку. Текущая GPA, обозначим её ${\displaystyle Y}$ , имеет правдоподобие, задаваемое некоторой функцией вероятности с параметром ${\displaystyle \theta }$ , то есть ${\displaystyle Y\mid \theta \sim P(Y\mid \theta )}$ . Этот параметр ${\displaystyle \theta }$ является баллом SAT студента. Балл SAT рассматривается как элемент выборки, полученный из общей выборки, полученной из распределения общей популяции, индексированной другим параметром ${\displaystyle \phi }$ , которая является баллом студента в старших классах школы . То есть, ${\displaystyle \theta \mid \phi \sim P(\theta \mid \phi )}$ . Более того, гиперпараметр ${\displaystyle \phi }$ имеет своё собственное распределение с функцией ${\displaystyle P(\phi )}$ , которое называется гиперприорным распределением.

Чтобы получить балл SAT по информации о GPA,

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta ,\phi )P(\theta ,\phi )}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$

Вся информация в задаче будет использована для получения апостериорного распределения. Вместо решения с использованием только априорной вероятности и функции правдоподобия, использование гиперприорных распределений даёт больше информации, что приводит к большей уверенности в поведении параметра .

Двухуровневая иерархическая модель

В общем случае интересующее нас совместное апостериорное распределение 2-уровневых иерархических моделей равно:

${\displaystyle P(\theta ,\phi \mid Y)={P(Y\mid \theta ,\phi )P(\theta ,\phi ) \over P(Y)}={P(Y\mid \theta )P(\theta \mid \phi )P(\phi ) \over P(Y)}}$

${\displaystyle P(\theta ,\phi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi )}$

Трёхуровневая иерархическая модель

Для 3-уровневых иерархических моделей апостериорное распределение задаётся так:

${\displaystyle P(\theta ,\phi ,X\mid Y)={P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X) \over P(Y)}}$

${\displaystyle P(\theta ,\phi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \phi )P(\phi \mid X)P(X)}$

Примечания

Литература

• Greg M. Allenby, Peter E. Rossi, Robert E. McCulloch. . — 2005. — Январь.
• Andrew Gelman, John B. Carlin, Hal S. Stern, Donald B. Rubin. . — 2nd. — Boca Raton, Florida: CRC Press, 2004. — ISBN 1-58488-388-X .
• Good I.J. Some history of the hierarchical Bayesian methodology // Trabajos de Estadistica Y de Investigacion Operativa. — Springer – Verlag, 1980. — Февраль ( т. 31 , вып. 1 ).
• Jose M. Bernardo, Adrian F.M. Smith. . — Chichester, England: John Wiley & Sons, 1994. — (Willey series in probability and statistics). — ISBN 0-471-92416-4 .
• Diaconis P., Freedman D. // Annals of Probability. — 1980.
• Greg M. Allenby, Peter E. Rossi. // SSRN Electronic Journal. — 2009.
• Box G. E. P., Tiao G. C. . Multiparameter Problems From A Bayesian Point of View. — New York City: John Wiley & Sons, 1965. — Т. 36. — ISBN 0-471-57428-7 . от 15 января 2019 на Wayback Machine
• Kadane J.B., Wasilkowski G.W. Average case ${\displaystyle \epsilon }$ -complexity in computer science, a Bayesian view // / Bernardo J.M., Degroot V.H., Lindley D.V., Smith A.F.M.. Proceedings of the Second Valencia International Meeting. — Amsterdam, New York, Oxford: Elsevier Science Publishers B.V, 1983. — ISBN 0-444-87746-0 . от 26 июля 2020 на Wayback Machine
• James M. Dickey, Chong-Hong Chen. Direct Subjective-Probability Modelling Using Ellipsoidal Distributions // / Bernardo J.M., Degroot V.H., Lindley D.V., Smith A.F.M.. — Amsterdam, New York, Oxford: Elsevier Science Publishers B.V, 1983. — ISBN 0-444-87746-0 .