فرایند گاوسی

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به ناوبری پرش به جستجو

در نظریه احتمال و آماریک فرایند گاوسی یک مدل آماری که در آن مشاهدات در دامنه پیوسته رخ می‌دهد، به عنوان مثال زمان یا فضا. در یک فرایند گاوسی هر نقطه از فضای ورودی یک متغیر تصادفی با توزیع نرمال است. علاوه بر این هر مجموعه متناهی از این متغیرهای تصادفی دارای توزیع گاوسی چند متغیره است. توزیع فرایند گاوسی توزیع مشترک از تمام این متغیرهای تصادفی (شمارا و نامحدود) است.

از دید یک الگوریتم یادگیری ماشین، یک فرایند گاوسی از lazy learning و اندازه‌گیری شباهت بین نقاط (همان تابع کرنل) برای پیش بینی نقاط جدید از داده‌های آموزشی است.

فرایند گاوسی به افتخار کارل فریدریش گاوس به نام وی نام گذاری شده است زیرا از او نماد گذاری توزیع گاوسی (توزیع نرمال) را پایه‌گذاری کرد. فرایندهای گاوسی را می‌تواند به عنوان یک توزیع بی‌نهایت بعدی از گاوسی چند متغیره دید.

فرایند گاوسی برای مدل کردن‌های اماری مفید است، زیرا این فرایند از مزایای ذاتی توزیع نرمال استفاده می‌کند.

تعریف[ویرایش]

یک فرایند گاوسی توزیع آماری Xt با tT است که برای هر تعداد متناهی ترکیب خطی از نمونه‌ها دارای یک توزیع مشترک گاوسی است. به طور دقیق تر، هر تابع خطی اعمال شده بر روی Xt یک توزیع شده گاوسی نتیجه می‌دهد. می‌توانیم بنویسیم (X ~ GP(m,K به معنی اینکه تابع تصادفی X دارای توزیع فرایند گاوسی با تابع میانگین m و تابع کوواریانس K است.[۱]

برخی از نویسندگان[۲] فرض می‌کنند که متغیرهای تصادفی Xt میانگین صفر را دارد؛ این کار باعث ساده‌سازی محاسبات بدون از دست دادن کلیت می‌شود.[۳]

تعاریف دیگر[ویرایش]

به عنوان تعریفی دیگر یک فرایند پیوسته در زمان گاوسی است اگر و تنها اگر برای هر مجموعه متناهی از شاخص‌های در مجموعهٔ شاخص

یک متغیر تصادفی گاوسی چند متغیره است.[۴] با استفاده از تابع مشخصه ی متغیرهای تصادفی ویژگی گاوسی می‌تواند به شرح زیر بیان شود: گاوسی است اگر و تنها اگر برای هر مجموعه متناهی از شاخص‌های مقادیر حقیقی که () وجود داشته باشد به طوری که معادله زیر برای همهٔ برقرار باشد:

که عدد موهومی را نشان می‌دهد

و به ترتیب بیانگر کوواریانس و میانگین متغیرهای تصادفی در فرایند است.[۵]

توابع کوواریانس[ویرایش]

یک ویژگی کلیدی در فرایندهای گاوسی این است که آنها را می‌توان به صورت کامل با ممان مرتبه دومشان تعریف کرد.[۶] بنابراین اگر فرض شود میانگین صفر است، با تعریف تابع کوواریانس به صورت کامل رفتار فرایند مشخص می‌شود.[۷][۸]

اگر فرایند ایستا باشد آن فقط به اختلاف، x' x بستگی دارد ،در حالی که اگر غیر ایستا باشد آن بستگی به موقعیت واقعی نقاط x و 'x دارد. برای مثال حالت خاص فرایند Ornstein–Uhlenbeck، یعنی حرکت براونی ایستا است.

اگر فرایند تنها به |x'x| بستگی داشته باشد، یعنی فاصله اقلیدسی بین x و 'x (بدون اهمیت جهت) ، فرایند همسانگرد محسوب می‌شود. یک فرایند است که هم ایستا و هم همسانگرد است همگن نامیده می‌شود؛[۹]

توابع معمول که به عنوان کوواریانس استفاده می‌شود:

  • ثابت:

  • خطی:

  • نویز گاوسی:

یادداشت[ویرایش]

  1. Rasmussen, C. E. (2004). "Gaussian Processes in Machine Learning". Advanced Lectures on Machine Learning. Lecture Notes in Computer Science. 3176. pp. 63–71. doi:10.1007/978-3-540-28650-9_4. ISBN 978-3-540-23122-6.
  2. Simon, Barry (1979). Functional Integration and Quantum Physics. Academic Press.
  3. Seeger, Matthias (2004). "Gaussian Processes for Machine Learning". International Journal of Neural Systems. 14 (2): 69–104. doi:10.1142/s0129065704001899.
  4. MacKay, David, J.C. (2003). Information Theory, Inference, and Learning Algorithms (PDF). Cambridge University Press. p. 540. ISBN 978-0-521-64298-9. The probability distribution of a function is a Gaussian processes if for any finite selection of points , the density is a Gaussian
  5. Dudley, R.M. (1989). Real Analysis and Probability. Wadsworth and Brooks/Cole.
  6. Bishop, C.M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 0-387-31073-8.
  7. Barber, David (2012). Bayesian Reasoning and Machine Learning. Cambridge University Press. ISBN 978-0-521-51814-7.
  8. Rasmussen, C.E.; Williams, C.K.I (2006). Gaussian Processes for Machine Learning. MIT Press. ISBN 0-262-18253-X.
  9. Grimmett, Geoffrey; David Stirzaker (2001). Probability and Random Processes. Oxford University Press. ISBN 0-19-857222-0.