بهینه‌ساز بیزی
بهینه‌ساز بیزی روشی مرحله‌ای است برای جستن نقاط بهینه سراسری توابع با ساختاری مجهول و مشتقات مجهول که معمولاً برآورد آنها زمان‌بر و هزینه‌بر است.[۱][۲][۳]
راهبرد[ویرایش]
از آنجا که تابع هدف ناشناخته است، راهبرد بیزی این است که آن را به عنوان یک تابع تصادفی در نظر بگیرد و یک توزیع پیشین را مد نظر قرار دهد. پس از جمع‌آوری خروجی‌های تابع، که به عنوان داده ورودی در نظر گرفته می‌شوند، داده‌های قبلی به روز می‌شوند تا توزیع پسین را بر روی تابع هدف تشکیل دهند. توزیع پسین، به نوبه خود، برای ساخت یک تابع اکتساب (که به آن معیار نمونه برداری پسین نیز گفته می‌شود) استفاده می‌شود که نقطه پرس‌وجوی بعدی را تعیین می‌کند.
چندین روش برای تعریف توزیع پیشین بر روی تابع هدف استفاده می‌شود. رایج‌ترین دو روش از فرایندهای گاوسی در روشی به نام کریجینگ استفاده می‌کنند. یک روش کم هزینه تر دیگر از تخمین‌گر پارزن - تری برای ساخت دو توزیع برای نقاط ورودی تابع مجهول استفاده می‌کند و سپس محلی را پیدا می‌کند که بهبود مورد انتظار را بیشینه می‌کند.[۵]
بهینه‌سازی بیزی استاندارد وابسته به این است که ارزیابی هر یک از آنها آسان باشد، و مسائلی که از این فرض منحرف می‌شوند به عنوان مسائل بهینه‌سازی بیزی نامتعارف شناخته می‌شوند. مانند:
- وجود نویز
- پردازش موازی
- کیفیت ارزیابی‌ها متکی بر توازن بین دشواری و دقت
- وجود شرایط محیطی تصادفی
- ارزیابی شامل مشتقات
جستارهای وابسته[ویرایش]
منابع[ویرایش]
- ↑ Močkus, Jonas (1974). "On Bayesian Methods for Seeking the Extremum". Optimization Techniques. Lecture Notes in Computer Science. 27: 400–404. doi:10.1007/3-540-07165-2_55. ISBN 978-3-540-07165-5.
- ↑ Močkus, Jonas (1977). "On Bayesian Methods for Seeking the Extremum and their Application". IFIP Congress: 195–200.
- ↑ Močkus, J. (1989). Bayesian Approach to Global Optimization. Dordrecht: Kluwer Academic. ISBN 0-7923-0115-3.
- ↑ Wilson, Samuel (2019-11-22), ParBayesianOptimization R package, retrieved 2019-12-12
- ↑ J. S. Bergstra, R. Bardenet, Y. Bengio, B. Kégl: Algorithms for Hyper-Parameter Optimization. Advances in Neural Information Processing Systems: 2546–2554 (2011)