قضیه انحرافات بزرگ

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به: ناوبری، جستجو

در نظریهٔ احتمال، تئوری انحرافات بزرگ (به انگلیسی: Large Deviations Theory) مربوط است به بررسی رفتار حدی دنباله‌ای از توزیع‌های آماری، در طی مشاهدهٔ داده‌های جدید. برخی از ایده‌های اساسی تئوری را می توان به لاپلاس یا کرامر نسبت داد. اگرچه این تئوری به شیوه‌ای که امروزه می‌شناسیم توسط وارادهان در سال ۱۹۶۶ معرفی شد. این تئوری، مقهوم همگرایی اندازهٔ توزیع‌های احتمالی را پایه ریزی می‌کند. اگر بخواهیم این تئوری را کمی غیر رسمی تر توصیف کنیم، این قضیه درگیر است با بررسی رفتار حدی توزیع‌های آماری، بخصوص رفتار دنباله‌ای (به انگلیسی: Tail behavior)، در شرایطی که داده‌های جدید مشاهده می‌شود.

مثال‌های مقدماتی[ویرایش]

یک مثال مقدماتی[ویرایش]

مثالی را در نظر بگیرید که در آن یک تاس متقارن(احتمال رو و پشت برابر) را به دفعات پرتاب می‌کنیم. اجازه دهید که نتیجهٔ پرتاب i-امین سکه را با  X_i نشان دهیم. در شرایط که ما رخداد سر را با ۱ و رخداد پشت را با ۰ نشان می‌دهیم. حال فرض کنیم  M_N میانگین بعد از پرتاپ  N امین سکه را نشان دهد.

 M_N = \frac{1}{N}\sum_{i=1}^{N} X_i

می دانیم که مقدار  M_N بین ۰ و ۱ قرار دارد. از قضیهٔ اعداد بزرگ (و همچنین از روی تجربه) می دانیم که هر چقدر که مقدار  N بزرگتر شود، توزیع  M_N به  0.5 = \operatorname{E}[X_1] (یا مقدار انتظاری در پرتاپ یک سکه) نزدیک تر خواهد شد. همنین بر اساس قضیهٔ حد مرکزی می دانیم که  M_N دارای توزیع نرمال حول  0.5 به ازای مقادیر بزرگ  N است. قضیهٔ حد مرکزی نسبت به قضیهٔ اعداد بزرگ اطلاعات بسیاری را می‌تواند در مورد رفتار  M_N ارائه دهد. مثلاً به آسانی می‌توانیم توزیع دنباله‌ای  M_N یا  P(M_N> x) (احتمال اینکه متغیر تصادفی  M_N بزرگنر از مقدار ثابت  x باشد، به ازای مقدار ثابتی از  N .) هرچند که که این تقریب قضیه حد مرکزی به ازای مقدار  x خیلی دور از  \operatorname{E}[X_1] چندان دقیق نیست. در واقع قضیهٔ حد مرکزی هرچند که در مورد نحوهٔ همگرایی توزیع دنباله‌ای وقتی  N \to \infty چیزی بیان نمی‌کند، اما اطلاعاتی در مورد نحوهٔ توزیع داده‌ها در نزدیکی نقطهٔ حدی در اختیار می گدارد. بگذارید کمی دقیق تر در این مورد صحبت کنیم. به ازای مقدار داده شدهٔ  0.5<x<1 بگذارید احتمال دنباله‌ای  P(M_N> x) را محاسبه کنیم. تعریف می‌کنیم:

  I(x) = x \, \text{ln} x + (1-x) \, \text{ln} (1-x) + \text{ln}2

توجه کنید که تابع  I(x) ، یک تابع محدب است که شبیه به آنترپی برنولی است. سپس با استفاده از نابرابری چرنوف داریم  P(M_N> x) <\exp(-NI(x)) . این کران یک کران تنگ است؛ به این مفهوم که  I(x) را نمی توان چیزی بزرگتر جایگزین کرد که به ازای تمام مقادیر مثبت  N نامساوی مذکور برقرار باشد. (هر چند که کران نمایی را می توان با اضافه کردن یک ضریب از مرتبهٔ  1/\sqrt N همچنان کاهش داد. این نتیجه از اعمال تقریب استرلینگ به ضرایب دو جمله‌ای که در توزیع برنولی بدست آورد.) بنابرین نتایج زیر را بدست می‌آوریم:

  P(M_N> x) \approx \exp(-NI(x)).

احتمال  P(M_N> x) به صورت احتمالی کاهش می‌یابد، هرچه  N به سمت بی نهایت میل می‌کند، با نرخی که تابع  x است. این فرمول احتمال دنباله‌ای میانگین نمونه‌ای داده‌های i.i.d. را تقریب می‌زند و همگرایی آنها را هرچه تعداد آنها افزایش می‌یابد را بدست می‌دهد.

انحرافات بزرگ برای مجموع متغیرهای مستقل[ویرایش]

در مثال فوق فرض کردیم که انداختن تاس در دفعات پی در پی مستقل از همدیگر هستند. در واقع احتمال پشت/رو آمدن در هر دفعه مستقل از نتیجهٔ آزمایش قبل است. فرض کنید  X,X_1,X_2,... متغیرهای تصادفی مستقل با توزیع یکسان (i.i.d.) باشند. حد زیر برقرار است:

\lim_{N\to \infty} \frac{1}{N} \ln P(M_N> x) = - I(x).

تابع  I(\cdot) تابع نرخ، تابع کرامر و یا تابع تابع آنترپی نامیده می‌شود. حد نوشته شده در قسمت فوق به این معنی است که به ازای مقادیر بزرگ N:

 P(M_N>x) \approx \exp[-NI(x) ],

که نتیجهٔ قضیهٔ انحرافات بزرگ است.

اگر توزیع  X را بدانیم، عبارتی صریح می توان برای تابع نرخ بدست آورد. این عبارت صریح توسط تبدیل لژاندر-فنشل به دست می آید[۱]:

I(x) = \sup_{\theta> 0} [\theta x - \lambda(\theta)],

که در آن

 \lambda(\theta) = \ln \operatorname{E}[\exp(\theta X)]

تابع cumulant generating یا GCF نامیده می شود و  \operatorname{E} امید ریاضی اماری است. اگر  X دارای توزیع نرمال باشد، تابع نرخ یک سهمی با مقدار حداکثر در میانگین توزیع نرمال خواهد بود. اگر \{X_i\} یک زنجیره ی ماکوف باشد، نسخه ای از قضیه ی انحرافات بزرگ برای آن برقرار است.

جستارهای وابسته[ویرایش]

پانویس[ویرایش]

  1. Touchette, Hugo (1 July 2009). "The large deviation approach to statistical mechanics". Physics Reports 478 (1-3): 1–69. DOI:10.1016/j.physrep.2009.05.002. 

منابع[ویرایش]