قضیه انحرافات بزرگ: تفاوت میان نسخه‌ها

محتوای حذف‌شده محتوای افزوده‌شده

درخط

نسخهٔ ‏۲۰ اوت ۲۰۱۸، ساعت ۰۹:۴۰

در نظریهٔ احتمال، تئوری انحرافات بزرگ (به انگلیسی: Large Deviations Theory) مربوط است به بررسی رفتار حدی دنباله‌ای از توزیع‌های آماری، در طی مشاهدهٔ داده‌های جدید. برخی از ایده‌های اساسی تئوری را می‌توان به لاپلاس یا کرامر نسبت داد. اگرچه این تئوری به شیوه‌ای که امروزه می‌شناسیم توسط وارادهان در سال ۱۹۶۶ معرفی شد. این تئوری، مقهوم همگرایی اندازهٔ توزیع‌های احتمالی را پایه ریزی می‌کند. اگر بخواهیم این تئوری را کمی غیررسمی تر توصیف کنیم، این قضیه درگیر است با بررسی رفتار حدی توزیع‌های آماری، بخصوص رفتار دنباله‌ای (به انگلیسی: Tail behavior)، در شرایطی که داده‌های جدید مشاهده می‌شود.

مثال‌های مقدماتی

یک مثال مقدماتی

مثالی را در نظر بگیرید که در آن یک تاس متقارن(احتمال رو و پشت برابر) را به دفعات پرتاب می‌کنیم. اجازه دهید که نتیجهٔ پرتاب i-امین سکه را با $X_{i}$ نشان دهیم. در شرایط که ما رخداد سر را با ۱ و رخداد پشت را با ۰ نشان می‌دهیم. حال فرض کنیم $M_{N}$ میانگین بعد از پرتاپ $N$ امین سکه را نشان دهد.

M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}

می دانیم که مقدار $M_{N}$ بین ۰ و ۱ قرار دارد. از قضیهٔ اعداد بزرگ (و همچنین از روی تجربه) می دانیم که هر چقدر که مقدار $N$ بزرگتر شود، توزیع $M_{N}$ به $0.5=\operatorname {E} [X_{1}]$ (یا مقدار انتظاری در پرتاپ یک سکه) نزدیک تر خواهد شد. همنین بر اساس قضیهٔ حد مرکزی می دانیم که $M_{N}$ دارای توزیع نرمال حول $0.5$ به ازای مقادیر بزرگ $N$ است. قضیهٔ حد مرکزی نسبت به قضیهٔ اعداد بزرگ اطلاعات بسیاری را می‌تواند در مورد رفتار $M_{N}$ ارائه دهد. مثلاً به آسانی می‌توانیم توزیع دنباله‌ای $M_{N}$ یا $P(M_{N}>x)$ (احتمال اینکه متغیر تصادفی $M_{N}$ بزرگنر از مقدار ثابت $x$ باشد، به ازای مقدار ثابتی از $N$ .) هرچند که که این تقریب قضیه حد مرکزی به ازای مقدار $x$ خیلی دور از $\operatorname {E} [X_{1}]$ چندان دقیق نیست. در واقع قضیهٔ حد مرکزی هرچند که در مورد نحوهٔ همگرایی توزیع دنباله‌ای وقتی $N\to \infty$ چیزی بیان نمی‌کند، اما اطلاعاتی در مورد نحوهٔ توزیع داده‌ها در نزدیکی نقطهٔ حدی در اختیار می گدارد. بگذارید کمی دقیق تر در این مورد صحبت کنیم. به ازای مقدار داده شدهٔ $0.5<x<1$ بگذارید احتمال دنباله‌ای $P(M_{N}>x)$ را محاسبه کنیم. تعریف می‌کنیم:

I(x)=x\,{\text{ln}}x+(1-x)\,{\text{ln}}(1-x)+{\text{ln}}2

توجه کنید که تابع $I(x)$ ، یک تابع محدب است که شبیه به آنترپی برنولی است. سپس با استفاده از نابرابری چرنوف داریم $P(M_{N}>x)<\exp(-NI(x))$ . این کران یک کران تنگ است؛ به این مفهوم که $I(x)$ را نمی توان چیزی بزرگتر جایگزین کرد که به ازای تمام مقادیر مثبت $N$ نامساوی مذکور برقرار باشد. (هر چند که کران نمایی را می‌توان با اضافه کردن یک ضریب از مرتبهٔ $1/{\sqrt {N}}$ همچنان کاهش داد. این نتیجه از اعمال تقریب استرلینگ به ضرایب دو جمله‌ای که در توزیع برنولی بدست آورد.) بنابرین نتایج زیر را بدست می‌آوریم:

P(M_{N}>x)\approx \exp(-NI(x)).

احتمال $P(M_{N}>x)$ به صورت احتمالی کاهش می‌یابد، هرچه $N$ به سمت بی‌نهایت میل می‌کند، با نرخی که تابع $x$ است. این فرمول احتمال دنباله‌ای میانگین نمونه‌ای داده‌های i.i.d. را تقریب می‌زند و همگرایی آن‌ها را هرچه تعداد آن‌ها افزایش می‌یابد را بدست می‌دهد.

انحرافات بزرگ برای مجموع متغیرهای مستقل

در مثال فوق فرض کردیم که انداختن تاس در دفعات پی در پی مستقل از همدیگر هستند. در واقع احتمال پشت/رو آمدن در هر دفعه مستقل از نتیجهٔ آزمایش قبل است. فرض کنید $X,X_{1},X_{2},...$ متغیرهای تصادفی مستقل با توزیع یکسان (i.i.d.) باشند. حد زیر برقرار است:

\lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x).

تابع $I(\cdot )$ تابع نرخ، تابع کرامر یا تابع تابع آنترپی نامیده می‌شود. حد نوشته شده در قسمت فوق به این معنی است که به ازای مقادیر بزرگ $N$ :

P(M_{N}>x)\approx \exp[-NI(x)],

که نتیجهٔ قضیهٔ انحرافات بزرگ است.

اگر توزیع $X$ را بدانیم، عبارتی صریح می‌توان برای تابع نرخ بدست آورد. این عبارت صریح توسط تبدیل لژاندر-فنشل به دست می‌آید^[۱]:

I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )],

که در آن

\lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]

تابع cumulant generating یا GCF نامیده می‌شود و $\operatorname {E}$ امید ریاضی اماری است. اگر $X$ دارای توزیع نرمال باشد، تابع نرخ یک سهمی با مقدار حداکثر در میانگین توزیع نرمال خواهد بود. اگر $\{X_{i}\}$ یک زنجیره ی ماکوف باشد، نسخه‌ای از قضیه ی انحرافات بزرگ برای آن برقرار است.

جستارهای وابسته

پانویس

↑ Touchette, Hugo (1 July 2009). "The large deviation approach to statistical mechanics". Physics Reports. 478 (1–3): 1–69. doi:10.1016/j.physrep.2009.05.002.

منابع

Special invited paper: Large deviations by S. R. S. Varadhan The Annals of Probability 2008, Vol. 36, No. 2, 397–419 doi:10.1214/07-AOP348
Entropy، Large Deviations and Statistical Mechanics by R.S. Ellis، Springer Publication. ISBN 3-540-29059-1
Large Deviations for Performance Analysis by Alan Weiss and Adam Shwartz. Chapman and Hall ISBN 0-412-06311-5
Large Deviations Techniques and Applications by Amir Dembo and Ofer Zeitouni. Springer ISBN 0-387-98406-2
Random Perturbations of Dynamical Systems by M.I. Freidlin and A.D. Wentzell. Springer ISBN 0-387-98362-7

[1] Touchette, Hugo (1 July 2009). "The large deviation approach to statistical mechanics". Physics Reports. 478 (1–3): 1–69. doi:10.1016/j.physrep.2009.05.002.

[۱]

@@ خط ۴۱: / خط ۴۱: @@
 == منابع ==
 * [http://arxiv.org/abs/0804.2330v1 Special invited paper: Large deviations] by S. R. S. Varadhan The Annals of Probability 2008, Vol. 36, No. 2, 397–419 {{doi|10.1214/07-AOP348}}
-* Entropy، Large Deviations and Statistical Mechanics by R.S. Ellis، Springer Publication. ISBN 3-540-29059-1
+* Entropy، Large Deviations and Statistical Mechanics by R.S. Ellis، Springer Publication. {{ISBN|3-540-29059-1|en}}
-* Large Deviations for Performance Analysis by Alan Weiss and Adam Shwartz. Chapman and Hall ISBN 0-412-06311-5
+* Large Deviations for Performance Analysis by Alan Weiss and Adam Shwartz. Chapman and Hall {{ISBN|0-412-06311-5|en}}
-* Large Deviations Techniques and Applications by Amir Dembo and Ofer Zeitouni. Springer ISBN 0-387-98406-2
+* Large Deviations Techniques and Applications by Amir Dembo and Ofer Zeitouni. Springer {{ISBN|0-387-98406-2|en}}
-* Random Perturbations of Dynamical Systems by M.I. Freidlin and A.D. Wentzell. Springer ISBN 0-387-98362-7
+* Random Perturbations of Dynamical Systems by M.I. Freidlin and A.D. Wentzell. Springer {{ISBN|0-387-98362-7|en}}
 {{فرایندهای تصادفی}}

ن ب و فرایندهای تصادفی
فرایند تصادفی	فرایند برنولی فرایند شاخه‌ای فرایند رستوران چینی فرایند گالتون-واتسون متغیرهای تصادفی مستقل با توزیع یکسان زنجیره مارکوف فرایند مورن ولگشت Loop-erased ولگشت خودپرهیز (قدم زدن بدون قطع کردن خود)
Continuous time	Bessel process Birth–death process فرایند وینر Bridge Excursion Fractional Geometric Meander فرایند کوشی Contact process گام-تصادفی زمان-پیوسته Cox process Diffusion process Empirical process فرایند فلر فرایند فلمینگ-ویوت Gamma process Hunt process Interacting particle systems Itô diffusion فرایند ایتو Jump diffusion Jump process فرایند لوی Local time Markov additive process McKean–Vlasov process فرایند اورنستین-یولنبک فرایند پواسون Compound فرایند پواسون فرایند پواسون تحول شرام و لونر Semimartingale Sigma-martingale Stable process Superprocess Telegraph process Variance gamma process فرایند وینر Wiener sausage
Both	فرایند شاخه‌ای Galves–Löcherbach model فرایند گاوسی مدل پنهان مارکف زنجیره مارکوف مارتینگیل Differences Local مارتینگیل مارتینگیل Random dynamical system Regenerative process نظریه تجدید Stochastic chains with memory of variable length نویز سفید
Fields and other	فرایند دیریکله Gaussian random field Gibbs measure شبکه هاپفیلد مدل آیزینگ Potts model شبکه بولی میدان تصادفی مارکفی نظریه تراوش فرایند پیتمن-یور فرایند نقطه ای Cox فرایند پواسون میدان تصادفی گراف تصادفی
سری زمانی	واریانس ناهمسانی شرطی اتورگرسیو میانگین متحرک خودهمبسته یکپارچه مدل خودهمبسته مدل خودهمبسته میانگین متحرک واریانس ناهمسانی شرطی اتورگرسیو مدل میانگین متحرک
Financial models	مدل بلک-درمن-توی Black–Karasinski مدل بلک-شولز مدل چن Constant elasticity of variance (CEV) مدل کاکس-اینگرسول-راس Garman–Kohlhagen Heath–Jarrow–Morton (HJM) Heston Ho–Lee Hull–White LIBOR market Rendleman–Bartter SABR volatility مدل واسیچک Wilkie
بیمسنجی	Bühlmann Cramér–Lundberg Risk process Sparre–Anderson
نظریه صفs	Bulk Fluid Generalized queueing network M/G/1 صف M/M/1 M/M/c
Properties	تابع Càdlàg Continuous Continuous paths ارگادیسیتی متغیرهای تصادفی تعویض پذیر Feller-continuous فرآیندهای تصادفی گاوسی-مارکوف خاصیت مارکف Mixing Piecewise deterministic Predictable Progressively measurable Self-similar فرایند مانا Time-reversible
Limit theorems	قضیه حد مرکزی Donsker's theorem Doob's martingale convergence theorems نظریه ارگودیک Fisher–Tippett–Gnedenko theorem Large deviation principle قانون اعداد بزرگ قانون لگاریتم‌های تکراری Maximal ergodic theorem Sanov's theorem
Inequalities	Burkholder–Davis–Gundy Doob's martingale Kunita–Watanabe
Tools	Cameron–Martin formula همگرایی متغیرهای تصادفی Doléans-Dade exponential Doob decomposition theorem Doob–Meyer decomposition theorem Doob's optional stopping theorem Dynkin's formula Feynman–Kac formula Filtration Girsanov theorem Infinitesimal generator Itô integral Itô's lemma Kolmogorov continuity theorem Kolmogorov extension theorem Lévy–Prokhorov metric Malliavin calculus Martingale representation theorem Optional stopping theorem Prokhorov's theorem Quadratic variation Reflection principle Skorokhod integral Skorokhod's representation theorem تابع Càdlàg Snell envelope معادله دیفرانسیل تصادفی Tanaka زمان توقف Stratonovich integral Uniform integrability Usual hypotheses Wiener space Classical Abstract
Disciplines	بیمسنجی اقتصادسنجی نظریه ارگودیک نظریه مقدار حدی قضیه انحرافات بزرگ مالیه ریاضیاتی آمار ریاضی نظریه احتمالات نظریه صف نظریه تجدید Ruin theory آمار حسابان تصادفی سری زمانی یادگیری ماشین
List of topics