فرایند دیریکله

در نظریه احتمالات فرایند دیریکله یک فرایند تصادفی است. این فرایند یک توزیع روی توزیع هاست.

یک فرایند دیریکله با $\mathrm{DP}\left(H, \alpha\right)$ مشخص می شود که در آن $H$ توزیع پایه است و $\alpha$ پارامتر تراکم نامیده می شود. اگرچه توزیع پایه یعنی $H$ پیوسته است، اما مقادیر ایجاد شده توسط فرایند دیریکله گسسته هستند. یعنی ممکن است تکرار شوند. اینکه احتمال اینکه تکرار شوند، چقدر است بستگی به پارامتر $\alpha$ دارد.

توجه کنید که فرایند دیریکله یک فرایند تصادفی است؛ یعنی تشکیل شده از بی نهایت متغیر تصادفی است. حال می توان یک فرایند دیریکله را به اینصورت ایجاد کرد: یک توزیع تصادفی انتخاب می کنیم و بی نهایت متغیر تصادفی را در نظر بگیرید که بی نهایت مقدار تصادفی از آن را مشخص می کنند. می توان این فرایند را توسط سناریوهای دیگری نیز تصویر کرد؛ مانند فرایند رستوران چینی یا فرایند شکستن چوب.

راه دیگر برای تصور فرایند دیریکله تصور یک توزیع دیریکله بینهایت است. با میل دادن ابعاد یک توزیع دیریکله متقارن $K$ بعدی با پارامتر تراکم $\alpha/K$ به بی نهایت، می توان به فرایند شکستن چوب رسید که تجسمی دیگر برای فرایند دیریکله است.

اولین بار فرایند دیریکله توسط توماس فرگوسن معرفی شده است.

مقدمه

توزیع مخلوط زیر را در نظر بگیرید:

$\begin{array}{lcl} \theta_{1,\dots,K} &\sim& H() \\ \boldsymbol\beta &\sim& \operatorname{Dirichlet}(\alpha/K,..., \alpha/K) \\ z_{1,\dots,N} &\sim& \operatorname{Categorical}(\boldsymbol\beta) \\ x_{i=1,\dots,N} &\sim& F(\theta_{z_i}) \end{array}$

مجموعه $x_1,\dots,x_N$ داده های مشاهده هستند که مطابق توزیع مخلوط با $K$ مولفه توزیع شده اند و هر مولفه دارای توزیع ثابت $F(\theta)$ است، بطوریکه هر مولفه دارای پارامتر متفاوتی برای $\theta$ است که به نوبه ی خود از توزیع $H$ بدست آمده است. معمولا توزیع $H$، مزدوج پیشین توزیع $F$ است.

مطالب مرتبط

• فرایند پیتمن-یور تعمیم فرایند دیریکله است.
• فرایند دیریکله ی سلسله مراتبی تعمیمی از فرایند دیریکله است تا اینکه داده های گروهی را نیز در نظر بگیرد.

لینک های خارجی

• Introduction to the Dirichlet Distribution and Related Processes by Frigyik, Kapila and Gupta
• Yee Whye Teh's overview of Dirichlet processes
• Webpage for the NIPS 2003 workshop on non-parametric Bayesian methods
• Michael Jordan's NIPS 2005 tutorial: Nonparametric Bayesian Methods: Dirichlet Processes, Chinese Restaurant Processes and All That
• Peter Green's summary of construction of Dirichlet Processes
• Peter Green's paper on probabilistic models of Dirichlet Processes with implications for statistical modelling and analysis
• Zoubin Ghahramani's UAI 2005 tutorial on Nonparametric Bayesian methods
• GIMM software for performing cluster analysis using Infinite Mixture Models
• A Toy Example of Clustering using Dirichlet Process. by Zhiyuan Weng