توزیع دیریکله

توزیع دریکله

تابع چگالی احتمال
پارامترها	$K>=2$ تعداد دسته ها (عددی صحیح) $\alpha _{1},\ldots ,\alpha _{K}$ concentration parameters, که در آن $\alpha _{i}>0$
تکیه‌گاه	$x_{1},\ldots ,x_{K}$ که در آن $x_{i}\in [0,1]$ و $\sum x_{i}=1$
تابع چگالی احتمال	${\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}$ که در آن $\mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}}$ که در آن ${\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K})$
میانگین	$\operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\sum _{k}\alpha _{k}}}$ $\operatorname {E} [\ln X_{i}]=\psi (\alpha _{i})-\psi (\textstyle \sum _{k}\alpha _{k})$ (see digamma function)
مُد	$x_{i}={\frac {\alpha _{i}-1}{\sum _{i=1}^{K}\alpha _{i}-K}},\quad \alpha _{i}>1.$
واریانس	$\mathrm {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},$ که در آن $\alpha _{0}=\sum _{i=1}^{k}\alpha _{i}$ $\mathrm {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}~~(i\neq j)$
آنتروپی	see text

چندین تصویر توزیع دریکله وقتی که K=3 برای بردارهای مختلف پارامتر α است. به‌صورت ساعتگرد از بالا چپ: α=(6, 2, 2), (3, 7, 5), (6, 2, 6), (2, 3, 4).

توزیع دیریکله در نظریه احتمال و آمار یک توزیع پیوسته است. این توزیع به‌طور کلی حالت گسترش یافته توزیع بتا برای توابع چندمتغیره است. معمولاً از توزیع دیریکله به عنوان توزیع پیشین در مدل سازی بیزی استفاده می‌شود؛ چرا که توزیع دیریکله مزدوج پیشین (conjugate prior) برای توزیع چندجمله ای و توزیع دسته ای (categorical) است. تعمیم این توزیع فرایند دیریکله است.

تعریف ریاضی

تابع چگالی احتمال آن به صورت زیر است:

$f(x_{1},\dots ,x_{K-1};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}$

به ازای همهٔ x₁, ..., x_K–1> 0 بطوریکه x₁ + ... + x_K–1 < 1, و x_K = 1 – x₁ – ... – x_K–1. چگالی در خارج از این ناحیه صفر است. ثابت نرمالیزاسیون به صورت زیر تعریف می‌شود:

$\mathrm {B} (\alpha )={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}},\qquad \alpha =(\alpha _{1},\dots ,\alpha _{K}).$

حالت های خاص

یک حالت خاص زمانی است که تمامی مقادیر ${\boldsymbol {\alpha }}$ مقدار یکسانی داشته باشند، که در اینصورت آن را توزیع دیریکلهٔ متقارن می نامیم. در این حالت توزیع ساده می‌شود به:

$f(x_{1},\dots ,x_{K-1};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.$

زمانی که $\alpha =1$ توزیع معادل با توزیع یکنواخت روی یک تکیه‌گاه (ریاضی) سیمپلکس $K-1$ بعدی.

ویژگی ها

گشتاورها

فرض کنیم متغیرهای تصادفی $X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )$ و  :$X_{K}=1-X_{1}-\cdots -X_{K-1}.$ را در اختیار داریم. تعریف می‌کنیم $\textstyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}$. بنابرین

$\mathrm {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},$

$\mathrm {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.$

علاوه بر این اگر if $i\neq j$

$\mathrm {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.$

مد

مد توزیع برداری مانند (x₁, ..., x_K) است که در آن:

$x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.$

توزیع حاشیه ای

توزیع‌های حاشیه ای توزیع دیریکله، توزیع بتا هستند.

مزدوج برای توزیع چندجمله ای/دسته ای

این به این معنی است که اگر در مدلسازی مجموعه ای از داده ها از توزیع چندجمله ای/دسته ای استفاده کنیم و توزیع پیشین را دیریکله قرار دهیم، توزیع پسین الزاماً یک توزیع دیریکله خواهد بود. به زبان ریاضی یعنی

${\begin{array}{lclcl}{\boldsymbol {\alpha }}&=&(\alpha _{1},\ldots ,\alpha _{K})&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&(p_{1},\ldots ,p_{K})&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&(\mathbf {x} _{1},\ldots ,\mathbf {x} _{N})&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}$

بنابرین روابط مقابل برقرار هستند:

${\begin{array}{lclcl}\mathbf {c} &=&(c_{1},\ldots ,c_{K})&=&{\text{number of occurrences of category }}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} (K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K})\end{array}}$

آنتروپی

می دانیم

$\operatorname {E} [\log(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})$

و

$\operatorname {Cov} [\log(X_{i}),\log(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})$

که در آن $\psi$ تابع تابع دایگاما و $\psi '$ تابع ترایگاما، $\delta _{ij}$ دلتای کرونکر است.

$H(X)=\log \mathrm {B} (\alpha )+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})$

ادغام پارامترها

اگر $X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})$ اگر متغیرهای تصادفی i-ام و j-م را با هم ادغام کنیم دیریکلهٔ حاصل برابر است با:

$X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).$

منابع

1. http://www.cis.hut.fi/ahonkela/dippa/node95.html