В теории вероятностей и математической статистике распределение Дирихле (по имени Иоганна Петера Густава Лежён-Дирихлe ), часто обозначаемое ${\displaystyle \mathrm {Dir} (\alpha )}$ — это семейство непрерывных многомерных вероятностных распределений параметризованных вектором α неотрицательных вещественных чисел . Распределение Дирихле является обобщением Бета-распределения на многомерный случай. То есть, его функция плотности вероятности возвращает доверительную вероятность того, что вероятность каждого из ${\displaystyle K}$ взаимоисключающих событий равна ${\displaystyle x_{i}}$ при условии, что каждое событие наблюдалось ${\displaystyle \alpha _{i}-1}$ раз.

Функция плотности вероятности

Функция плотности вероятности для распределения Дирихле порядка K есть :

${\displaystyle f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

где ${\displaystyle x_{i}\geq 0}$ , ${\displaystyle \sum _{i=1}^{K}x_{i}=1}$ , ${\displaystyle \alpha _{i}>0}$ , а ${\displaystyle {\mathrm {B} (\alpha )}={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}}}$ — многомерная бета-функция , где ${\displaystyle \alpha =(\alpha _{1},\ldots ,\alpha _{K}).}$

Свойства

Пусть ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )}$ и ${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i},}$ тогда

${\displaystyle \mathrm {E} [X_{i}\mid \alpha ]={\frac {\alpha _{i}}{\alpha _{0}}},}$

${\displaystyle \mathrm {Var} [X_{i}\mid \alpha ]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},}$

${\displaystyle \mathrm {Cov} [X_{i}X_{j}\mid \alpha ]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Модой распределения является вектор ${\displaystyle x=(x_{1},...,x_{K})}$ с

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.}$

Распределение Дирихле является сопряжённым априорным распределением к мультиномиальному распределению , а именно: если

${\displaystyle \beta \mid X=(\beta _{1},\ldots ,\beta _{K})\mid X\sim \operatorname {Mult} (X),}$

где β _i — число вхождений i в выборку из n точек дискретного распределения на {1, …, K } определенного через X , то

${\displaystyle X\mid \beta \sim \operatorname {Dir} (\alpha +\beta ).}$

Эта связь используется в Байесовской статистике для того, чтобы оценить скрытые параметры, X , дискретного вероятностного распределения, имея набор из n выборок. Очевидно, если априорное распределение обозначено как Dir( α ), то Dir( α + β ) есть после серии наблюдений с гистограммой β .

Связи с другими распределениями

Если для ${\displaystyle i\in \{1,2,\ldots ,K\},}$

${\displaystyle Y_{i}\sim \operatorname {Gamma} ({\textrm {shape}}=\alpha _{i},{\textrm {scale}}=1)}$ независимо, то

${\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} ({\textrm {shape}}=\sum _{i=1}^{K}\alpha _{i},{\textrm {scale}}=1),}$

и

${\displaystyle (X_{1},\ldots ,X_{K})=(Y_{1}/V,\ldots ,Y_{K}/V)\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K}).}$

Несмотря на то, что X _i не являются независимыми друг от друга, они могут быть сгенерированы из набора из ${\displaystyle K}$ независимых гамма случайных величин. К несчастью, так как сумма ${\displaystyle V}$ теряется в процессе формирования X = ( X ₁ , …, X _K ), становится невозможно восстановить начальные значения гамма случайных величин только по этим значениям. Тем не менее, благодаря тому, что работать с независимыми случайными величинами проще, это преобразование параметров может быть полезно при доказательстве свойств распределения Дирихле.

Генерация случайных чисел

Метод построения случайного вектора ${\displaystyle x=(x_{1},\ldots ,x_{K})}$ для распределения Дирихле размерности K с параметрами ${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$ следует непосредственно из этой связи. Сначала получим K независимых случайных выборок ${\displaystyle y_{1},\ldots ,y_{K}}$ из гамма-распределений , каждое из которых имеет плотность

${\displaystyle {\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},}$

а затем положим

${\displaystyle x_{i}=y_{i}\left/\sum _{j=1}^{K}y_{j}\right..}$

Наглядная трактовка параметров

В качестве примера использования распределения Дирихле можно предложить задачу, в которой требуется разрезать нитки (каждая начальной длины 1,0) на K частей с разными длинами так, чтобы все части имели заданную среднюю длину, но с возможностью некоторой вариации относительных длин частей. Значения α / α ₀ определяют средние длины частей нитки, получившиеся из распределения. Дисперсия вокруг среднего значения обратно пропорциональна α ₀ .

См. также

• Бета-распределение
• Биномиальное распределение
• Мультиномиальное распределение

Примечания

Литература

• _en . Оптимальные статистические решения = Optimal Statistical Decisions. — М. : Мир, 1974. — 492 с.