مدل ترکیبی

مدل ترکیبی

مدل ترکیبی یا مدل مخلوط (به انگلیسی: Mixture Model): در آمار، یک مدل ترکیبی، نمایش احتمالی یک جمعیت است که حضور زیرجمعیت‌های مختلف را در آن نشان می‌دهد. بر خلاف مدل‌های سنتی، مدل‌های مخلوط نیازی به تخصیص مشاهدات فردی به یک زیرجمعیت خاص ندارند. در عوض، آنها توزیع احتمال مشاهدات را در کل جمعیت توصیف می کنند. مدل‌های مخلوط امکان استنتاج‌های آماری در مورد ویژگی‌های زیرجمعیت‌ها را تنها بر اساس مشاهدات کل جمعیت، بدون هیچ گونه اطلاعاتی در مورد هویت‌های زیرجمعیتی فراهم می‌کنند.

ساختار

مدل ترکیبی عمومی

یک مدل ترکیبی با ابعاد محدود یک مدل سلسله مراتبی است که از اجزای زیر تشکیل شده است:

N متغیر تصادفی که مشاهده شده‌اند و هر کدام بر اساس ترکیبی از مؤلفه‌های K توزیع می‌شوند.

N متغیر نهفته تصادفی که اجزای ترکیبی هر مشاهده را مشخص می‌کند، که هر کدام بر اساس یک توزیع طبقه بندی K بعدی توزیع شده اند.

مجموعه ای از وزن های ترکیبی Kتایی، که احتمالاتی هستند که مجموع آنها 1 است.

مجموعه ای از پارامترهای Kتایی که هر کدام پارامترهای مربوط به توزیع مربوطه را مشخص می کند.

مدل ترکیبی گاوسی

یک روش متداول در خوشه‌بندی در یادگیری ماشین، استفاده از مدل آمیخته گوسی یا نرمال است. در این روش، فرض می‌شود که هر خوشه از داده‌ها به شکلی نرمال (گوسی) توزیع شده است و به طور کلی، داده‌ها نمونه‌هایی از یک توزیع آمیخته نرمال هستند. هدف از خوشه‌بندی برمبنای مدل، برآورد پارامترهای توزیع هر خوشه و تعیین برچسب برای مشاهدات است. با استفاده از این روش، می‌توانیم بفهمیم هر مشاهده به کدام خوشه تعلق دارد. روش خوشه‌بندی برمبنای مدل یک روش قدرتمند در حوزه یادگیری ماشین است.

در شیوه خوشه‌بندی با مدل آمیخته گاوسی، برآورد پارامترهای توزیع آمیخته از یک متغیر پنهان (به انگلیسی: Latent Variable) استفاده می‌شود. به این ترتیب به کمک الگوریتم (EM (Expectation Maximization می‌توان برآورد مناسب برای پارامترها و مقدار متغیر پنهان به دست آورد.

یک مدل ترکیبی گاوسی بیزی اغلب بسط پیدا می‌کند تا مجموعه‌ای از پارامترهای نامعلوم یا توزیع‌های نرمال چند متغیره را در خود جای دهد. در مورد توزیع چند متغیره (یعنی توزیعی که بردار x را با N متغیر تصادفی مدل می‌کند)، می‌توان مجموعه‌ای از پارامترها را با استفاده از توزیع قبلی(prior) یک گاوسی ترکیبی بر روی بردار مقادیر تخمینی ارائه شده توسط مدل نشان داد.

$$p({\boldsymbol {\theta }})=\sum _{i=1}^{K}\phi _{i}{\mathcal {N}}({\boldsymbol {\mu _{i},\Sigma _{i}}})$$

که در اینجا جزء iام به صورت توزیع های نرمال با وزن‌های $\phi _{i}$، میاگین‌های ${\boldsymbol {\mu _{i}}}$ و ماتریس کواریانس ${\boldsymbol {\Sigma _{i}}}$ مشخص می‌شوند.

سپس می‌توان با استفاده از فرمول بیز توزیع پیشین را در توزیع $p({\boldsymbol {x|\theta }})$ ضرب کرد و توزیع پسین بدست می‌آید.

$$p({\boldsymbol {\theta |x}})=\sum _{i=1}^{K}{\tilde {\phi _{i}}}{\mathcal {N}}({\boldsymbol {{\tilde {\mu _{i}}},{\tilde {\Sigma _{i}}}}})$$

و پارامترهای وزن‌ها، میاگین‌ها و ماتریس کواریانس توسط الگوریتم EM به‌روزرسانی خواهند شد.

الگوریتم EM

به منظور برآورد پارامترهای مدل آمیخته گاوسی از الگوریتم EM استفاده خواهیم کرد. این الگوریتم دارای دو بخش یا گام است. گام متوسط گیری یا Expectation و گام بیشینه‌سازی یا Maximization.

در گام اول (E-step) یا گام متوسط‌گیری، هدف برآورد توزیع متغیر پنهان به شرط وزن (π)، میانگین‌ها (Means) و ماتریس کواریانس (Σ) توزیع آمیخته نرمال است. بردار پارامترها را در این جا با نماد θ نشان می‌دهیم. برای این کار ابتدا یک حدس اولیه برای این پارامترها زده می‌شود سپس گام‌های به ترتیب برداشته می‌شوند. همانطور که خواهید دید، حدس‌های اولیه را می‌توان بوسیله الگوریتم k means بدست آورد. به این معنی که برای خوشه‌های حاصل از الگوریتم k means، میانگین، ماتریس کواریانس و وزن‌ها محاسبه می‌شود. توجه داشته باشید که منظور از وزن، درصدی (احتمال) از داده‌ها است که در یک خوشه قرار دارند.

در گام دوم (M-step) با استفاده از متغیرهای پنهان، سعی خواهیم کرد تابع درستنمایی را نسبت به پارامترهای θ بیشینه کنیم. این مراحل (گام E و گام M) تا زمانی که الگوریتم همگرا شود (مقدار تابع درستنمایی تغییر نکند)، ادامه خواهد داشت. به این ترتیب الگوریتم EM علاوه بر برآورد پارامترهای توزیع آمیخته گاوسی، برچسب‌ها یا مقدار متغیر پنهان را نیز مشخص می‌کند.

گام اول (E-Step) برای مدل ترکیبی گاوسی

همانطور که قبلا اشاره شد، تابع توزیع آمیخته گاوسی را می‌توان به صورت ترکیب وزنی از چندین توزیع نرمال نوشت. بنابراین اگر وزن‌ها را با $\pi _{k}$ نشان دهیم، برای K خوشه یا توزیع نرمال، تابع چگالی آمیخته در نقطه x به صورت زیر نوشته خواهد شد.

$$p(x)=\sum _{k=1}^{K}\pi _{k}{\cal {{N}(x|\,u_{l}\,\Sigma _{k})}}$$

به کمک قانون بیز در احتمال شرطی تابع احتمال پسین برای متغیر پنهان Z که به صورت $\gamma (x_{nk})$ نشان داده شده، به صورت زیر در خواهد آمد. البته در نظر داشته باشید که تابع احتمال پیشین در این حالت همان π است.

گام دوم (M-Step) برای مدل ترکیبی گاوسی

پس از محاسبه تابع احتمال پسین برای متغیر پنهان، باید پارامترهای توزیع آمیخته گاوسی را برآورد کرده سپس مقدار لگاریتم تابع درستنمایی را محاسبه کنیم. این گام‌ها تا رسیدن به همگرایی در مقدار تابع درستنمایی تکرار خواهد شد.

میانگین برای خوشه‌ kام به صورت زیر برآورد می‌شود.

$$\mu _{k}^{new}={\dfrac {1}{N_{K}}}\sum _{n=1}^{N}\gamma (z_{nk})x_{n}$$

$$\Sigma _{k}^{new}={\dfrac {1}{N_{K}}}\sum _{n=1}^{N}\gamma (z_{nk})(x_{n}-\mu _{k}^{new})(x_{n}-\mu _{k}^{new})^{T}$$

برای برآورد وزن‌ برای هر یک از توزیع‌ها نیز از رابطه زیر استفاده می‌کنیم.

$$\pi _{k}^{new}={\dfrac {N_{k}}{N}}\,\;\;\;N_{k}=\sum _{n=1}^{N}\gamma (xz_{nk})$$

به این ترتیب تابع که در ادامه قابل مشاهده است باید بیشینه شود.

$$\ln p(X|\mu \,\Sigma \,\pi )=\sum _{n=1}^{N}\ln {\Big \{}\sum _{k=1}^{K}\pi _{k}{\cal {{N}(x_{n}|\mu _{k}\,\Sigma _{k}){\Big \}}}}$$

حال با توجه به اینکه لگاریتم یک تابع مقعر محسوب می‌شود از نامساوی جنسن استفاده کرده و سعی می‌کنیم تابع زیر که کران پایین برای تابع بالا است را بیشینه کنیم.

$$L=\sum _{n=1}^{N}\sum _{k=1}^{K}\operatorname {E} [z_{nk}]{\Big \{}\ln \pi _{k}+\ln {N}(x_{n}|\mu _{k}\,\Sigma _{k}){\Big \}}$$