رگرسیون پواسون

در آمار، رگرسیون پواسون نوعی از تحلیل رگرسیون و زیرمجموعه‌ای از مدل‌های خطی تعمیم‌یافته است که برای تحلیل داده‌های حاصل از شمارش به کار می‌رود. اگر $\mathbf {x} \in \mathbb {R} ^{n}$ برداری از متغیر وابسته و مستقل باشد، فرم زیر را می‌گیرد:^[۱]

\log(\operatorname {E} (Y|\mathbf {x} ))=\mathbf {a} '\mathbf {x} +b,\,

که در آن $\mathbf {a} \in \mathbb {R} ^{n}$ و $b\in \mathbb {R}$ . می‌توان فرم بالا را به این صورت نیز نوشت:

\log(\operatorname {E} (Y|\mathbf {x} ))={\boldsymbol {\theta }}'\mathbf {x} ,\,

که در آن x بردار ( $\mathbf {n+1}$ )-بعدی از متغیرهاست. با داشتن پارامتر رگرسیون پواسون $\mathbf {\theta }$ و بردار ورودی $\mathbf {x}$ ، می‌توان پیش‌بینی را به اینصورت بدست آورد:

\operatorname {E} (Y|\mathbf {x} )=e^{\left({{\boldsymbol {\theta }}'\mathbf {x} }\right)}.\,

محتویات

۱ تخمین پارامترها بر اساس بیشینه درست نمایی
۲ رگرسیون پواسون تنظیم شده
۳ جستارهای وابسته
۴ منابع

تخمین پارامترها بر اساس بیشینه درست نمایی[ویرایش]

بردار متغیر وابسته $x$ است و $\theta$ پارامتر مدل رگرسیون پوسان است، $Y$ متغیر مستقل است که آنرا با یک توزیع پوسان شبیه‌سازی می‌کنیم که میانگین آن در معادله پایین آمده‌است:^[۲]

$\lambda :=\operatorname {E} (Y\mid x)=e^{\theta 'x},\,$

از این رو تابع احتمال این توزیع برابر است با:

$p(y\mid x;\theta )={\frac {\lambda ^{y}}{y!}}e^{-\lambda }={\frac {e^{y\theta 'x}e^{-e^{\theta 'x}}}{y!}}$

حال اگر فرض کنیم که $m$ داده داریم یعنی $(x_{1},y_{1}),\cdots ,(x_{m},y_{m})$ و مقادیر متغیر مستقل از مجموعه اعداد طبیعی می‌آید یعنی $y_{1},\ldots ,y_{m}\in \mathbb {N}$ و متغیرهای وابسته $n+1$ هستند یعنی $x_{i}\in \mathbb {R} ^{n+1},\,i=1,\ldots ,m$ آنگاه احتمال متغیرهای مستقل به شرط مشاهده متغیرهای وابسته برابر خواهد شد با:

$p(y_{1},\ldots ,y_{m}\mid x_{1},\ldots ,x_{m};\theta )=\prod _{i=1}^{m}{\frac {e^{y_{i}\theta 'x_{i}}e^{-e^{\theta 'x_{i}}}}{y_{i}!}}.$

حال بر حسب اصل بیشینه‌سازی درست نمایی باید به دنبال پارامتری بگردیم که این درست نمایی به بیشترین مقدار خود برسد، یعنی تابع پایین بیشینه شود:

$L(\theta \mid X,Y)=\prod _{i=1}^{m}{\frac {e^{y_{i}\theta 'x_{i}}e^{-e^{\theta 'x_{i}}}}{y_{i}!}}.$

از آنجا که تابع لگاریتم مطلقاً صعودی است بجای بیشینه کردن تابع درست نمایی می‌توان لگاریتم آن را بیشینه کرد که تابع را ساده‌تر می‌کند. به عبارتی دیگر همان پارامتری که لگاریتم تابع درست نمایی را بیشینه می‌کند، همان پارامتر، خودِ تابع درست نمایی را نیز بیشنه می‌کند. لگاریتم تابع با معادله پایین برابر خواهد شد:

$\ell (\theta \mid X,Y)=\log L(\theta \mid X,Y)=\sum _{i=1}^{m}\left(y_{i}\theta 'x_{i}-e^{\theta 'x_{i}}-\log(y_{i}!)\right).$

از آنجا که $\sum _{i=1}^{m}\log(y_{i}!)$ ثابت است و پارامتر $\theta$ را در خود ندارد می‌توان آنرا از تابع حذف کرد و به تابع پایین رسید^[۲]

$\ell (\theta \mid X,Y)=\sum _{i=1}^{m}\left(y_{i}\theta 'x_{i}-e^{\theta 'x_{i}}\right).$

حال برای پیدا کردن بیشینه تابعِ $\ell (\theta \mid X,Y)$ باید گرادیان آنرا با صفر یکی کرد، یعنی ${\frac {\partial \ell (\theta \mid X,Y)}{\partial \theta }}=0$ . این معادله اما جوابی در فرم بسته ندارد و باید جواب آنرا از روشی دیگر پیدا کرد. از آنجا که $-\ell (\theta \mid X,Y)$ تابعی محّدب است، می‌توان به پارامتر بهینه یعنی پارامتری که $-\ell (\theta \mid X,Y)$ را کمینه و $\ell (\theta \mid X,Y)$ را بیشینه کند با روشهای بهینه‌سازی محّدب مانند گرادیان کاهشی رسید.