یادگیری نیمه‌نظارتی

از ویکی‌پدیا، دانشنامهٔ آزاد
پرش به: ناوبری، جستجو

یاگیری نیمه‌نظارتی دسته‌ای از روش‌های یادگیری ماشین است که در آن از داده‌های بدون برچسب و داده‌های برچسب‌دار به صورت هم‌زمان برای بهبود دقت یادگیری استفاده می‌شود.

انواع اصلی[ویرایش]

روش‌های یادگیری نیمه‌نظارتی را در یک دسته‌بندی کلی به دسته‌های زیر می‌توان تقسیم کرد[۱].

روش‌های مولد[ویرایش]

در روش‌های مولد[۲] ابتدا یک مدل پارامتری برای تابع توزیع نقاط (مثلا توزیع گاوسی) انتخاب می‌شود که آن را با P(\mathbf{x}|y,\theta) نشان می‌دهیم که در آن \theta مدل است. سپس P(y) از روی داده‌های برچسب‌دار تخمین زده می‌شود. احتمال وقوع نقاط با توجه به تابع توزیع هر دسته، بر حسب پارامترهای مدل، به صورت تحلیلی محاسبه می‌شود. سپس با اعمال قانون بیز می‌توان تابع توزیع برچسب در هر نقطه را محاسبه کرد. در روش‌های مولد معمولاً هدف بیشینه کردن این احتمال وقوع یا به طور معادل بیشینه کردن راست‌نمایی[۳] آن‌ها نسبت به پارامترهای مدل است. از روش‌های مختلفی می‌توان برای بهینه‌کردن پارامترهای مدل نسبت به میزان راست‌نمایی استفاده کرد.

در مقابل روش‌های مولد، روش‌هایی که به طور مستقیم به یادگیری P(y|x) می‌پردازند یا روش‌های تمایزی[۴] هستند. توجیهات نظری وجود دارد که نشان می‌دهد که روش‌های مولد نیاز به داده‌های بیشتری نسبت به روش‌های تمایزی جهت یادگیری دارند. همچنین در عمل روش‌های تمایزی موفق‌تر نشان داده‌اند. بنابراین تحقیقات روی روش‌های مولد کم‌رنگ بوده است .

روش‌های مبتنی بر فرض جداسازی کم‌چگالی[ویرایش]

همانطور که گفته شد، فرض خوشه با فرض جداسازی کم چگالی معادل است. با توجه به این نکته می‌توان عبارت‌های منظم‌سازی تعریف کرد که وجود مرز طبقه‌بندی در نقاط پرچگالی را جریمه می‌کنند. به این ترتیب الگوریتم‌های زیادی برای یادگیری نیمه‌نظارتی مطرح می‌شوند. معروف‌ترین الگوریتم در این دسته از روش‌ها، الگوریتم TSVM است، که در سال ۱۹۹۸ توسط وپنیک ارائه شد. وپنیک از مفهوم ابعاد VC و قاعده‌ی SRM[۵]، برای طراحی یک مسئله بهینه‌سازی مشابه مسئله‌ی بهینه‌سازی SVM بهره گرفته است . مسئله‌ی بهینه‌سازی TSVM، مسئله‌ای پیچیده است و تاکنون الگوریتمی کارا برای یافتن جواب بهینه‌ی عمومی آن ارائه نشده است. روش‌های دیگری هم در حوزه‌ی استفاده صرف از فرض خوشه استفاده شده‌اند که شامل   می‌شوند. همه‌ی این روش‌ها در دو خاصیت مشترکند، یکی اینکه برای طبقه‌بندی طراحی شده‌اند و اینکه طراحی آن‌ها حول مفهوم مرز جداساز و اندازه مرز بوده است.

روش‌های مبتنی بر گراف[ویرایش]

این روش‌ها در صورتی موثر هستند که فرض همواری نیمه‌نظارتی و فرض خمینه در حالت ضعیف، هم‌زمان برقرار باشد. برای استفاده از فرض خمینه به طور صریح، باید ساختار خمینه به نحوی بیان شود. یکی از راه‌های بیان کردن ساختار خمینه در فضای با بعد بالا، استفاده از گراف‌های همسایگی است. در گراف همسایگی، رئوس همان نقاط هستند و میان نقاط نزدیک به هم روی خمینه یال با وزن متناسب قرار داده می‌شود.

در روش‌های نیمه‌نظارتی مبتنی بر گراف[۶]، ابتدا گراف همسایگی روی نقاط ساخته می‌شود، سپس از روشی برای تعیین برچسب نقاط بدون برچسب استفاده می‌شود. به عبارت دیگر، هر الگوریتم نیمه‌نظارتی مبتنی بر گراف شامل گام‌های کلی زیر است:

  1. پیش‌پردازش داده‌ها، که شامل استخراج ویژگی‌ها، کاهش بعد، حذف نویز و موارد دیگر می‌باشد.
  2. ایجاد گراف همسایگی مناسب روی نقاط که معمولاً لازمه‌ی آن محاسبه‌ی فاصله‌ی بین نقاط است.
  3. استنتاج برچسب نقاط بدون برچسب با یکی از روش‌های استنتاج برچسب.

پانوشت‌ها[ویرایش]

  1. Chapelle, Olivier; Schölkopf, Bernhard; Zien, Alexander (2006). Semi-supervised learning. Cambridge, Mass.: MIT Press. ISBN 978-0-262-03358-9. 
  2. Generative Methods
  3. Likelihood
  4. Discriminative
  5. Structural Risk Minimization
  6. Graph Based Semi-Supervised Learning Methods