الگوریتم اکثریت وزن‌دار

در یادگیری ماشینی، الگوریتم اکثریت وزن‌دار (WMA) یک الگوریتم فرا یادگیری است که برای ساختن یک الگوریتم ترکیبی از مجموعه‌ای از الگوریتم‌های پیش‌بینی، اعم از هر نوع الگوریتم یادگیری، طبقه‌بندی‌کننده یا حتی متخصصان واقعی انسانی، استفاده می‌شود. این الگوریتم فرض می‌کند که ما هیچ دانش قبلی‌ای در مورد دقت الگوریتم‌های موجود در مجموعهٔ الگوریتم‌های پیش‌بینی‌کننده نداریم، اما دلایل کافی برای این باور وجود دارد که یک یا چند مورد از آن‌ها خوب عمل می‌کنند.

فرض کنید مسئله، یک مسئله تصمیم‌گیری دودویی است. برای ساخت الگوریتم ترکیبی، یک‌وزن مثبت به هر یک از الگوریتم‌های موجود در مجموعه داده می‌شود. سپس الگوریتم ترکیبی، آرای وزن‌دار را از تمام الگوریتم‌های موجود در مجموعه جمع‌آوری می‌کند و پیش‌بینی‌ای را به عنوان خروجی ارائه می‌دهد که رای بالاتری کسب کرده‌باشد. اگر الگوریتم ترکیبی اشتباه کند، وزن الگوریتم‌های موجود در مجموعه که در این پیش‌بینی اشتباه دخیل بوده‌اند نیز، با نسبت معینی (β بین ۰ تا ۱)، کاهش می‌یابد.

می‌توان نشان داد حد بالای تعداد اشتباهات انجام‌شده در یک دنباله معین از پیش‌بینی‌ها از مجموعه‌ای از الگوریتم‌ها که آن را با $\mathbf {A}$ نمایش می‌دهیم برابر است با:

$\mathbf {O(log|A|+m)}$

اگر که یک الگوریتم مانند $\mathbf {x} _{i}$ حداکثر مرتکب $\mathbf {m}$ اشتباه شود.

گونه‌های زیادی از الگوریتم اکثریت وزنی برای استفاده در موقعیت‌های مختلف وجود دارد، مانند: گونه اهداف متغیر (وقتی زیرمجموعه‌هایی از مجموعهٔ الگوریتم‌های اولیه در شرایط خاص خوب عمل‌کنند و بخواهیم ردی از این زیرمجموعه‌ها داشته باشیم)، گونه مجموعهٔ نامتناهی (وقتی مجموعه‌ای نامتناهی الگوریتم‌های تصمیم‌گیر داشته‌باشیم) یا گونهٔ پیش‌بینی‌های احتمالاتی (وقتی بخواهیم به هر کلاس خروجی به جای یک پیش‌بینی دودویی دقیق، یک احتمال نسبت دهیم).

مکانیسم اصلی در تمامی گونه‌های فوق مشابه است.

کارایی نهایی الگوریتم ترکیبی نیز، تابعی از عملکرد متخصص (الگوریتم با بهترین عملکرد درون مجموعهٔ الگوریتم‌های اولیه) می‌باشد.

جستارهای وابسته

• الگوریتم اکثریت وزنی تصادفی