بهینه‌ساز بیزی: تفاوت میان نسخه‌ها
ابرابزار |
بدون خلاصۀ ویرایش |
||
| خط ۱: | خط ۱: | ||
'''بهینه‌ساز بیزی''' روشی مرحله‌ای است برای جستن نقاط بهینه سراسری [[جعبه سیاه (سامانه)|توابع با ساختاری مجهول]] و مشتقات مجهول |
'''بهینه‌ساز بیزی''' روشی مرحله‌ای است برای جستن نقاط بهینه سراسری [[جعبه سیاه (سامانه)|توابع با ساختاری مجهول]] و مشتقات مجهول که معمولاً برآورد آنها زمانبر و هزینه‌بر است. <ref>{{cite journal |first=Jonas |last=Močkus |doi=10.1007/3-540-07165-2_55 |title=On Bayesian Methods for Seeking the Extremum |journal=Optimization Techniques |series=Lecture Notes in Computer Science |year=1974 |volume=27 |pages=400–404 |isbn=978-3-540-07165-5 }}</ref><ref>{{cite journal |first=Jonas |last=Močkus |title=On Bayesian Methods for Seeking the Extremum and their Application |journal=IFIP Congress |year=1977 |pages=195–200 }}</ref><ref name="Mockus1989">{{cite book |first=J. |last=Močkus |title=Bayesian Approach to Global Optimization |publisher=Kluwer Academic |location=Dordrecht |year=1989 |isbn=0-7923-0115-3 }}</ref> |
||
== راهبرد == |
== راهبرد == |
||
| خط ۶: | خط ۶: | ||
توزیع پسین، به نوبه خود، برای ساخت یک تابع اکتساب (که به آن معیار نمونه برداری پسین نیز گفته می‌شود) استفاده می‌شود که نقطه پرس‌وجوی بعدی را تعیین می‌کند. |
توزیع پسین، به نوبه خود، برای ساخت یک تابع اکتساب (که به آن معیار نمونه برداری پسین نیز گفته می‌شود) استفاده می‌شود که نقطه پرس‌وجوی بعدی را تعیین می‌کند. |
||
چندین روش برای تعریف توزیع پیشین بر روی تابع هدف استفاده می‌شود. رایج‌ترین دو روش از فرایندهای گاوسی در روشی به نام کریجینگ استفاده می‌کنند. یک روش کم هزینه تر دیگر از تخمین‌گر پارزن - تری برای ساخت دو توزیع برای نقاط ورودی تابع مجهول استفاده می‌کند و سپس محلی را پیدا می‌کند که بهبود مورد انتظار را بیشینه می‌کند. |
چندین روش برای تعریف توزیع پیشین بر روی تابع هدف استفاده می‌شود. رایج‌ترین دو روش از فرایندهای گاوسی در روشی به نام کریجینگ استفاده می‌کنند. یک روش کم هزینه تر دیگر از تخمین‌گر پارزن - تری برای ساخت دو توزیع برای نقاط ورودی تابع مجهول استفاده می‌کند و سپس محلی را پیدا می‌کند که بهبود مورد انتظار را بیشینه می‌کند. <ref>J. S. Bergstra, R. Bardenet, Y. Bengio, B. Kégl: [http://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf Algorithms for Hyper-Parameter Optimization]. Advances in Neural Information Processing Systems: 2546–2554 (2011)</ref> |
||
بهینه‌سازی بیزی استاندارد وابسته به این است که ارزیابی هر یک از آنها آسان باشد، و مسائلی که از این فرض منحرف می‌شوند به عنوان مسائل بهینه‌سازی بیزی نامتعارف شناخته می‌شوند. مانند: |
بهینه‌سازی بیزی استاندارد وابسته به این است که ارزیابی هر یک از آنها آسان باشد، و مسائلی که از این فرض منحرف می‌شوند به عنوان مسائل بهینه‌سازی بیزی نامتعارف شناخته می‌شوند. مانند: |
||
نسخهٔ ۱۶ دسامبر ۲۰۲۲، ساعت ۰۸:۰۱
بهینه‌ساز بیزی روشی مرحله‌ای است برای جستن نقاط بهینه سراسری توابع با ساختاری مجهول و مشتقات مجهول که معمولاً برآورد آنها زمانبر و هزینه‌بر است. [۱][۲][۳]
راهبرد
از آنجا که تابع هدف ناشناخته است، راهبرد بیزی این است که آن را به عنوان یک تابع تصادفی در نظر بگیرد و یک توزیع پسین را مد نظر قرار دهد. پس از جمع‌آوری خروجی‌های تابع، که به عنوان داده ورودی در نظر گرفته می‌شوند، داده‌های قبلی به روز می‌شوند تا توزیع پسین را بر روی تابع هدف تشکیل دهند. توزیع پسین، به نوبه خود، برای ساخت یک تابع اکتساب (که به آن معیار نمونه برداری پسین نیز گفته می‌شود) استفاده می‌شود که نقطه پرس‌وجوی بعدی را تعیین می‌کند.
چندین روش برای تعریف توزیع پیشین بر روی تابع هدف استفاده می‌شود. رایج‌ترین دو روش از فرایندهای گاوسی در روشی به نام کریجینگ استفاده می‌کنند. یک روش کم هزینه تر دیگر از تخمین‌گر پارزن - تری برای ساخت دو توزیع برای نقاط ورودی تابع مجهول استفاده می‌کند و سپس محلی را پیدا می‌کند که بهبود مورد انتظار را بیشینه می‌کند. [۴]
بهینه‌سازی بیزی استاندارد وابسته به این است که ارزیابی هر یک از آنها آسان باشد، و مسائلی که از این فرض منحرف می‌شوند به عنوان مسائل بهینه‌سازی بیزی نامتعارف شناخته می‌شوند. مانند:
- وجود نویز
- پردازش موازی
- کیفیت ارزیابی‌ها متکی بر توازن بین دشواری و دقت
- وجود شرایط محیطی تصادفی
- ارزیابی شامل مشتقات
جستارهای وابسته
منابع
- ↑ Močkus, Jonas (1974). "On Bayesian Methods for Seeking the Extremum". Optimization Techniques. Lecture Notes in Computer Science. 27: 400–404. doi:10.1007/3-540-07165-2_55. ISBN 978-3-540-07165-5.
- ↑ Močkus, Jonas (1977). "On Bayesian Methods for Seeking the Extremum and their Application". IFIP Congress: 195–200.
- ↑ Močkus, J. (1989). Bayesian Approach to Global Optimization. Dordrecht: Kluwer Academic. ISBN 0-7923-0115-3.
- ↑ J. S. Bergstra, R. Bardenet, Y. Bengio, B. Kégl: Algorithms for Hyper-Parameter Optimization. Advances in Neural Information Processing Systems: 2546–2554 (2011)