یادگیری بدون نمونه

از ویکی‌پدیا، دانشنامهٔ آزاد

یادگیری بدون نمونه (انگلیسی: Zero-shot learning) یا (ZSL) یک مشکل در یادگیری ماشینی است، جایی که در زمان آزمون، یک یادگیرنده نمونه‌هایی از کلاس‌هایی را که در طول آموزش مشاهده نشده‌اند مشاهده می‌کند و باید کلاس مربوط به آنها را پیش‌بینی کند. روشهای یادگیری بدون نمونه معمولاً با تداعی کلاسهای مشاهده شده و مشاهده نشده از طریق نوعی اطلاعات کمکی، که خصوصیات تمایز قابل مشاهده اشیا را رمزگذاری می‌کند، کار می‌کنند. به عنوان مثال، با توجه به مجموعه ای از تصاویر حیوانات برای طبقه‌بندی، همراه با توضیحات متنی کمکی از شکل ظاهری حیوانات، هوش مصنوعی که برای تشخیص اسب آموزش دیده‌است، اما هرگز گورخر را ندیده‌است، می‌تواند گورخر را تشخیص دهد از آنجایی که می‌داند گورخرها مانند اسب‌های راه راه به نظر می‌رسند. این مشکل به‌طور گسترده‌ای در بینایی رایانه، پردازش زبان طبیعی و درک ماشین مورد مطالعه قرار گرفته‌است.[۱]

پیشینه و تاریخچه[ویرایش]

اولین مقاله در مورد یادگیری بدون نمونه در پردازش زبان طبیعی در AAAI'08 منتشر شد، اما نامی که به الگوی یادگیری در آنجا داده شد، طبقه‌بندی بدون داده(dataless classification) بود.[۲] اولین مقاله در مورد یادگیری شات صفر در بینایی رایانه در همان کنفرانس با نام یادگیری صفر-داده(zero-data learning) ظاهر شد.[۳] این جهت بعداً در مقاله مشهورتر، CV[۴] مشهورتر شد و اصطلاح یادگیری بدون نمونه فراگیر شد، به عنوان قسمتی از یادگیری یک شلیک(one-shot learning) که سالها پیش در بینایی رایانه مطرح شد.[۵]

در بینایی رایانه ای، مدلهای یادگیری بدون نمونه پارامترهای کلاسهای دیده شده را به همراه نمایش کلاسهایشان یادمی‌گیرند و به شباهت‌هایی در میان برچسبهای کلاس متکی هستند تا در هنگام استنباط، نمونه‌ها را بتوان در کلاسهای جدید طبقه‌بندی کرد.

در پردازش زبان طبیعی، جهت اصلی پیشرفت فنی ایجاد شده بر اساس توانایی «درک برچسب ها» است - نشان دادن برچسب‌ها در همان فضای معنایی اسناد طبقه‌بندی شده. این از طبقه‌بندی یک مثال واحد بدون مشاهده داده‌های حاشیه نویسی، خالص‌ترین شکل از طبقه‌بندی بدون نمونه پشتیبانی می‌کند. در مقاله اصلی[۲] از بازنمایی تجزیه و تحلیل معنایی صریح (Explicit Semantic Analysis) (ESA) استفاده شده‌است اما در مقالات بعدی از بازنمایی‌های دیگر از جمله نمایش‌های متراکم استفاده شده‌است. این روش همچنین به حوزه‌های چند زبانه،[۶][۷] تایپ موجودیت عالی[۸] و سایر مشکلات نیز تعمیم داده شد. علاوه بر این، فراتر از اتکا فقط به بازنمایی‌ها، رویکرد محاسباتی گسترش یافته‌است تا به انتقال از سایر وظایف، از جمله پیام‌ها[۹] و پاسخ به سوالات[۱۰] بستگی داشته باشد.

مقاله اصلی[۲] همچنین اشاره دارد که فراتر از توانایی طبقه‌بندی یک مثال واحد، وقتی مجموعه ای از مثالها آورده می‌شود، با این فرض که از یک توزیع یکسان آمده‌اند، می‌توان عملکرد را به صورت نیمه نظارت شده اندازی کرد: مانند روش (یادگیری فراگیر).

بر خلاف تعمیم استاندارد در یادگیری ماشین، که انتظار می‌رود طبقه‌بندی کنندگان نمونه‌های جدید را به درستی به کلاسهایی که قبلاً در حین آموزش مشاهده کرده‌اند طبقه‌بندی کنند، در ZSL، هیچ نمونه ای از کلاسها هنگام آموزش طبقه‌بندی داده نشده‌است؛ بنابراین می‌توان آن را به عنوان یک مورد شدید سازگاری دامنه مشاهده کرد.

اطلاعات لازم برای کلاس‌های بدون نمونه[ویرایش]

به‌طور طبیعی، باید نوعی اطلاعات کمکی در مورد این کلاس‌های بدون نمونه داده شود و این نوع اطلاعات می‌تواند انواع مختلفی داشته باشد.

  • یادگیری با ویژگی‌ها: کلاس‌ها با توصیف ساختار یافته از پیش تعریف شده همراه هستند. به عنوان مثال، برای توصیف پرندگان، این می‌تواند شامل «سر قرمز» و «نوک بلند» باشد.[۴][۱۱] این ویژگی‌ها غالباً به صورت ساختاریافته سازماندهی می‌شوند و در نظر گرفتن این ساختار باعث افزایش یادگیری می‌شود.[۱۲] در حالی که این رویکرد بیشتر در بینایی رایانه مورد استفاده قرار می‌گرفت، مثالهایی در پردازش زبان طبیعی نیز برای آن وجود دارد.[۱۳]
  • یادگیری از شرح متنی. همان‌طور که در بالا اشاره شد، این جهت اصلی در پردازش زبان طبیعی بوده‌است. در اینجا برچسب‌های کلاس معنایی دارند و اغلب با تعاریف یا توضیحات به زبان طبیعی متن آزاد افزوده می‌شوند. این می‌تواند به عنوان مثال توضیحات کلاس ویکی‌پدیا باشد.[۸][۱۴]
  • شباهت طبقاتی کلاس‌ها. در اینجا کلاسها در یک فضای پیوسته تعبیه شده‌اند. یک طبقه‌بندی بدون نمونه می‌تواند پیش‌بینی کند که یک نمونه‌ها با موقعیتی در آن فضا مطابقت دارند و از نزدیکترین کلاس جاسازی شده به عنوان یک کلاس پیش‌بینی شده استفاده می‌شود، حتی اگر چنین نمونه‌هایی در حین آموزش مشاهده نشده باشند.[۱۵]

یادگیری بدون نمونه تعمیم یافته[ویرایش]

تنظیمات فوق ZSL فرض می‌کند که در زمان آزمون، فقط تست‌هایی که بدون نمونه هستند داده می‌شود، یعنی نمونه‌هایی از کلاس‌های جدید غیبی. در یادگیری بدون نمونه تعمیم یافته، نمونه‌هایی از کلاسهای جدید و شناخته شده ممکن است در زمان آزمون ظاهر شوند. این چالش‌های جدیدی را برای طبقه‌بندی کننده‌ها در زمان آزمون ایجاد می‌کند، زیرا تخمین اینکه یک نمونه داده شده جدید است یا شناخته شده بسیار دشوار است. چند روش برای رسیدگی به این موارد عبارتند از:

  • رویکرد دروازه ای. در اینجا ابتدا یک ماژول اضافی آموزش داده می‌شود تا تصمیم بگیرد که آیا یک نمونه داده شده از کلاس جدید است یا از یک کلاس قدیمی. دروازه‌بان می‌تواند نتیجه یک تصمیم سخت را به دست آورد،[۱۶] اما انتشار یک تصمیم با احتمال کم، دقت این روش را بیشتر بهبود می‌بخشد.[۱۷]
  • رویکردهای تولید. در اینجا، یک مدل تولیدی آموزش داده می‌شود تا نمایانگر ویژگی طبقات دیده نشده باشد. سپس یک طبقه‌بندی کننده استاندارد با توجه به نمونه‌هایی از همه کلاس‌ها، دیده شده و دیده نشده آموزش داده می‌شود.[۱۸]

دامنه‌های کاربرد[ویرایش]

یادگیری بدون نمونه در زمینه‌های زیر اعمال شده‌است:

برخی از برنامه‌های رایانه ای با یادگیری بدون نمونه، از ویکی‌پدیا برای نشان دادن بردارهای دسته‌ها استفاده می‌کنند. یک برنامه مقالات ویکی و شماره فرم‌های آنها را بر اساس کلمات موجود در آن تجزیه می‌کند - کلمات انتخاب شده و دسته‌بندی می‌شوند تا داده‌های آزمون را در یادگیری ماشین مرتب کنند.[۱۹]

منابع[ویرایش]

  1. ↑ Xian, Yongqin; Schiele, Bernt; Akata, Zeynep (2017). "Zero-shot learning-the good, the bad and the ugly". Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition: 4582–4591. arXiv:1703.04394. Bibcode:2017arXiv170304394X.
  2. ↑ ۲٫۰ ۲٫۱ ۲٫۲ Chang, M.W. (2008). "Importance of Semantic Representation: Dataless Classification" (PDF). AAAI.
  3. ↑ Larochelle, Hugo (2008). "Zero-data Learning of New Tasks" (PDF).
  4. ↑ ۴٫۰ ۴٫۱ Lampert, C.H. (2009). "Learning to detect unseen object classes by between-class attribute transfer". IEEE Conference on Computer Vision and Pattern Recognition: 951–958. CiteSeerX 10.1.1.165.9750.
  5. ↑ Miller, E. G. (2000). "Learning from One Example Through Shared Densities on Transforms" (PDF). CVPR.
  6. ↑ Song, Yangqiu (2019). "Toward any-language zero-shot topic classification of textual documents". Artificial Intelligence. 274: 133–150. doi:10.1016/j.artint.2019.02.002.
  7. ↑ Song, Yangqiu (2016). "Cross-Lingual Dataless Classification for Many Languages" (PDF). IJCAI.
  8. ↑ ۸٫۰ ۸٫۱ Zhou, Ben (2018). "Zero-Shot Open Entity Typing as Type-Compatible Grounding" (PDF). EMNLP. arXiv:1907.03228.
  9. ↑ Yin, Wenpeng (2019). "Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach" (PDF). EMNLP. arXiv:1909.00161.
  10. ↑ Levy, Omer (2017). "Zero-Shot Relation Extraction via Reading Comprehension" (PDF). CoNLL. arXiv:1706.04115.
  11. ↑ Romera-Paredes, Bernardino; Torr, Phillip (2015). "An embarrassingly simple approach to zero-shot learning" (PDF). International Conference on Machine Learning: 2152–2161. Archived from the original (PDF) on 13 March 2017. Retrieved 28 June 2021.
  12. ↑ Atzmon, Yuval; Chechik, Gal (2018). "Probabilistic AND-OR Attribute Grouping for Zero-Shot Learning" (PDF). Uncertainty in Artificial Intelligence. arXiv:1806.02664. Bibcode:2018arXiv180602664A.
  13. ↑ Roth, Dan (2009). "Aspect Guided Text Categorization with Unobserved Labels". ICDM. CiteSeerX 10.1.1.148.9946.
  14. ↑ Hu, R Lily; Xiong, Caiming; Socher, Richard (2018). "Zero-Shot Image Classification Guided by Natural Language Descriptions of Classes: A Meta-Learning Approach" (PDF). NeurIPS.
  15. ↑ Frome, Andrea; et, al (2013). "Devise: A deep visual-semantic embedding model" (PDF). Advances in Neural Information Processing Systems: 2121–2129.
  16. ↑ Socher, R; Ganjoo, M; Manning, C.D.; Ng, A. (2013). "Zero-shot learning through cross-modal transfer". Neural Information Processing Systems. arXiv:1301.3666. Bibcode:2013arXiv1301.3666S.
  17. ↑ Atzmon, Yuval (2019). "Adaptive Confidence Smoothing for Generalized Zero-Shot Learning". The IEEE Conference on Computer Vision and Pattern Recognition: 11671–11680. arXiv:1812.09903. Bibcode:2018arXiv181209903A.
  18. ↑ Felix, R; et, al (2018). "Multi-modal cycle-consistent generalized zero-shot learning". Proceedings of the European Conference on Computer Vision: 21–37. arXiv:1808.00136. Bibcode:2018arXiv180800136F.
  19. ↑ https://www.youtube.com/watch?v=jBnCcr-3bXc
برگرفته از «https://fa.wikipedia.org/w/index.php?title=یادگیری_بدون_نمونه&oldid=38279104»