نمونه‌برداری گیبز

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به: ناوبری، جستجو

منظور از نمونه‌برداری گیبز یا نمونه‌بردار گیبز (به انگلیسی: Gibbs sampling) در مطالعات آماری، الگوریتمی است که بر مبنای تئوری زنجیره مارکوف مونت کارلو طراحی شده‌است. کاربرد این الگوریتم در تولید دنباله‌ای از مشاهدات از یک تابع توزیع احتمالاتی چند متغیره است که تولید نمونه از آن به صورت مستقیم دشوار است. این دنباله را می‌توان برای تخمین توزیع همزمان (مثلاً برای تولید هیستوگرام توزیع)، تخمین توزیع حاشیه ای بر روی یک یا زیر مجموعه‌ای از متغیرهای توزیع (مانند پارامتر پنهان یا متغیرهای پنهان)، یا برای محاسبه یک انتگرال (مانند امید ریاضی متغیرها) استفاده نمود. اغلب برخی از متغیرها وابسته به مشاهدات هستند که مقدار آن‌ها مشخص است و بنابراین نیازی به نمونه‌برداری برای آن‌ها نیست.

نمونه‌برداری گیبز معمولاً به عنوان ابزاری برای استنتاج آماری و به ویژه در استنتاج بیزی استفاده می‌شود. این روش یک الگوریتم تصادفی (از آن جهت که با استفاده از اعداد تصادفی نمونه تولید می‌کند) که می‌تواند جایگزینی برای الگوریتم‌های قطعی در استنتاج آماری مانند الگوریتم بیشینه انتظار (ای ام) باشد.

نمونه‌برداری گیبز مانند دیگر الگوریتم‌های زنجیره مارکوف مونت کارلو، زنجیره مارکوفی از نمونه‌ها تولید می‌شود بطوری‌که هر نمونه وابسته به نمونه‌های نزدیک است؛ بنابراین اگر نمونه‌های مستقل مورد نظر است، باید نمونه‌برداری محتاطانه انجام پذیرد، این کار اغلب با نازک‌سازی زنجیرهٔ نمونه‌های حاصل شده انجام می‌شود بدین شکل که تنها مقدار n-ام زنجیره مثلاً ۱۰۰-ام انتخاب می‌شود. علاوه بر این نمونه‌های ابتدای زنجیره (تکرارهای سوخته) احتمالاً نمایانگر خوبی برای توزیع مورد نظر نخواهند بود.

مقدمه[ویرایش]

نمونه‌برداری گیبز به افتخار نام فیزیکدان Josiah ویلارد گیبس, نامگذاری شده‌است و اشاره به یک مقایسه بین الگوریتم نمونه برداری و فیزیک آماری دارد. الگوریتم شرح داده شده، توسط برادران استوارت و دونالد Geman در سال 1984، یعنی هشت دهه پس از مرگ گیبس تشریح شد.[۱]

پیاده‌سازی[ویرایش]

نمونه‌برداری گیبس در تجسم اولیه، یک حالت خاص از این الگوریتم متروپلیس‌هستینگز است. نکته‌ای که در نمونه‌برداری گیبس وجود دارد این است که برای یک توزیع چند متغیره، نمونه‌برداری از توزیع شرطی ساده‌تر است از محاسبه توزیع حاشیه ای، که با انتگرال‌گیری بر روی توزیع توام بدست می‌آید. فرض کنید ما می خواهیم نمونه از از یک توزیع توام  بدست بیاوریم. نمونه -ام را بصورت  روند الگوریتم به شرح زیر است:

  1. با مقدار اولیه‌ای مانند  شروع می کنیم.
  2. نمونه بعدی را باید تولید نماییم. آنرا  می نامیم. یک بردار است، مقدار هر اندیس  از این بردار از توزیع آن اندیس مشروط بر باقی اندیس‌هایی که تاکنون نمونه‌برداری شده اند، نمونه‌برداری می‌شود.  اما یک دست آورد این است که: ما اندیس های  را تا  و پس از آن اندیس های را با شروع از  تا مشروط کردیم. برای دستیابی به این هدف نمونه‌برداری اندیس‌ها به ترتیب با شروع از اولین اندیس انجام شد. به بیان ریاضیاتی دقیق تر برای نمونه‌برداری از , آن را بر اساس توزیعی که به صورت بیان می‌شود، به روز رسانی کرده ایم.
  3. دقت کنید که از مقدار اندیس  -ام در نمونه -ام استفاده کرده ایم نه نمونه-ام.
  4. گام فوق را به تعداد .

یادداشت[ویرایش]

  1. Geman, S.; Geman, D. (1984). "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images". IEEE Transactions on Pattern Analysis and Machine Intelligence. 6 (6): 721–741. doi:10.1109/TPAMI.1984.4767596. 

منابع[ویرایش]

پیوند به بیرون[ویرایش]