پیش‌نویس:یادگیری خود نظارتی
یادگیری خود نظارتی (SSL) یک روش یادگیری ماشین است . که از نمونه داده های بدون برچسب یاد می گیرد. می توان آن را به عنوان واسطی بین یادگیری با نظارت و بدون نظارت در نظر گرفت . این یادگیری بر اساس یک شبکه عصبی مصنوعی است . فرایند یادگیری شبکه عصبی در دو مرحله است:ااول، کار بر اساس شبه برچسب ها حل می شود که به مقداردهی اولیه وزن شبکه کمک می کند. [۱] [۲] دوم، وظیفه اصلی با یادگیری تحت نظارت یا بدون نظارت انجام می شود. [۳] [۴] [۵] یادگیری خود نظارتی نتایج امیدوارکننده‌ای را در سال‌های اخیر ایجاد کرده است و کاربرد عملی در پردازش صدا پیدا کرده است و توسط فیس‌بوک و دیگران برای تشخیص گفتار استفاده می‌شود . [۶] جذابیت اصلی SSL این است که آموزش می تواند با داده هایی با کیفیت پایین تر به جای بهبود نتایج نهایی رخ دهد. یادگیری خود نظارتی، روشی را که انسان ها برای طبقه بندی اشیا یاد می گیرند، بیشتر تقلید می کند. [۷]
انواع[ویرایش]
داده های آموزشی را می توان به نمونه های مثبت و نمونه های منفی تقسیم کرد. نمونه های مثبت آنهایی هستند که با هدف مطابقت دارند. به عنوان مثال، اگر در حال یادگیری شناسایی پرندگان هستید، داده های آموزشی مثبت آن تصاویری هستند که حاوی پرندگان هستند. مثال های منفی آنهایی هستند که شامل پرندگان نیستند.. [۸]
SSL متضاد[ویرایش]
SSL Contrastive از هر دو نمونه مثبت و منفی استفاده می کند. تابع ضرر یادگیری متضاد فاصله بین نمونه های مثبت را به حداقل می رساند در حالی که فاصله بین نمونه های منفی را حداکثر می کند. [۸]
SSL غیر متضاد[ویرایش]
Non-contrastive SSL فقط از نمونه های مثبت استفاده می کند. به طور متضاد، NCSSL به جای رسیدن به تابع شناسایی مورد انتظار با ضرر صفر، روی یک حداقل محلی مفید همگرا می شود. NCSSL مؤثر به یک پیش‌بینی‌کننده اضافی در سمت آنلاین نیاز دارد که در سمت هدف انتشار مجدد ندارد. [۸]
مقایسه با سایر فرم های یادگیری ماشین[ویرایش]
SSL تا آنجا که هدف تولید یک خروجی طبقه بندی شده از ورودی است به روش های یادگیری نظارت شده تعلق دارد. در عین حال، نیازی به استفاده صریح از جفت ورودی-خروجی برچسب دار ندارد. در عوض، همبستگی ها، ابرداده های تعبیه شده در داده ها، یا دانش حوزه موجود در ورودی به طور ضمنی و مستقل از داده ها استخراج می شوند. [۹] این سیگنال های نظارتی که از داده ها تولید می شوند، می توانند برای آموزش استفاده شوند. [۷]
SSL شبیه به یادگیری بدون نظارت است زیرا نیازی به برچسب در داده های نمونه ندارد. برخلاف یادگیری بدون نظارت، یادگیری با استفاده از ذات ساختارهای داده انجام نمی شود. [۹]
یادگیری نیمه نظارتی، یادگیری تحت نظارت و بدون نظارت را با هم ترکیب می کند، که فقط به بخش کوچکی از داده های یادگیری برچسب گذاری می شود. [۲]
در یادگیری انتقالی ، مدلی که برای یک کار طراحی شده است، مجدداً برای یک کار دیگر استفاده می شود. [۱۰]
مثال ها[ویرایش]
یادگیری خود نظارتی به ویژه برای تشخیص گفتار مناسب است. به عنوان مثال، فیس بوک wav2vec، یک الگوریتم تحت نظارت خود را برای انجام تشخیص گفتار با استفاده از دو شبکه عصبی پیچیده عمیق که بر روی یکدیگر ساخته می شوند، توسعه داد. [۶]
مدل بازنمودهای رمزگذار دو جهته گوگل از ترانسفورماتورها (BERT) برای درک بهتر محتوا پرس و جوهای جستجو استفاده می کند. [۱۱]
GPT-3 OpenAI یک مدل زبان خودرگرسیون است که می تواند در پردازش زبان استفاده شود. می توان از آن برای ترجمه متون یا پاسخ دادن به سؤالات و موارد دیگر استفاده کرد. [۱۲]
Bootstrap Your Own Latent یک NCSSL است که نتایج بسیار خوبی در ImageNet و معیارهای انتقال و نیمه نظارت شده ایجاد می کند. [۱۳]
DirectPred یک NCSSL است که به‌جای یادگیری آن از طریق به‌روزرسانی گرادیان، وزن‌های پیش‌بینی‌کننده را مستقیماً تنظیم می‌کند. [۸]
منابع[ویرایش]
- ↑ Doersch, Carl; Zisserman, Andrew (October 2017). "Multi-task Self-Supervised Visual Learning". 2017 IEEE International Conference on Computer Vision (ICCV). IEEE: 2070–2079. arXiv:1708.07860. doi:10.1109/iccv.2017.226. ISBN 978-1-5386-1032-9.
- ↑ ۲٫۰ ۲٫۱ Beyer, Lucas; Zhai, Xiaohua; Oliver, Avital; Kolesnikov, Alexander (October 2019). "S4L: Self-Supervised Semi-Supervised Learning". 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE: 1476–1485. arXiv:1905.03670. doi:10.1109/iccv.2019.00156. ISBN 978-1-7281-4803-8.
- ↑ Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). "Unsupervised Visual Representation Learning by Context Prediction". 2015 IEEE International Conference on Computer Vision (ICCV). IEEE: 1422–1430. arXiv:1505.05192. doi:10.1109/iccv.2015.167. ISBN 978-1-4673-8391-2.
- ↑ Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (April 2018). "Fast and robust segmentation of white blood cell images by self-supervised learning". Micron. 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969.
- ↑ Gidaris, Spyros; Bursuc, Andrei; Komodakis, Nikos; Perez, Patrick Perez; Cord, Matthieu (October 2019). "Boosting Few-Shot Visual Learning With Self-Supervision". 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE: 8058–8067. arXiv:1906.05186. doi:10.1109/iccv.2019.00815. ISBN 978-1-7281-4803-8.
- ↑ ۶٫۰ ۶٫۱ "Wav2vec: State-of-the-art speech recognition through self-supervision". ai.facebook.com (به انگلیسی). Retrieved 2021-06-09.
- ↑ ۷٫۰ ۷٫۱ Bouchard, Louis (2020-11-25). "What is Self-Supervised Learning? | Will machines ever be able to learn like humans?". Medium (به انگلیسی). Retrieved 2021-06-09.
- ↑ ۸٫۰ ۸٫۱ ۸٫۲ ۸٫۳ "Demystifying a key self-supervised learning technique: Non-contrastive learning". ai.facebook.com (به انگلیسی). Retrieved 2021-10-05.
- ↑ ۹٫۰ ۹٫۱ R., Poornima; L., Ashok (2017). "Problem Based Learning a Shift from Teaching Paradigm to the Learning Paradigm". Indian Journal of Dental Education. 10 (1): 47–51. doi:10.21088/ijde.0974.6099.10117.6. ISSN 0974-6099.
- ↑ Littwin, Etai; Wolf, Lior (June 2016). "The Multiverse Loss for Robust Transfer Learning". 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE: 3957–3966. arXiv:1511.09033. doi:10.1109/cvpr.2016.429. ISBN 978-1-4673-8851-1.
- ↑ "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing". Google AI Blog (به انگلیسی). Retrieved 2021-06-09.
- ↑ Wilcox, Ethan; Qian, Peng; Futrell, Richard; Kohita, Ryosuke; Levy, Roger; Ballesteros, Miguel (2020). "Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models". Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Stroudsburg, PA, USA: Association for Computational Linguistics: 4640–4652. arXiv:2010.05725. doi:10.18653/v1/2020.emnlp-main.375.
- ↑ A bot will complete this citation soon. Click here to jump the queue arXiv:[۱].
لینک های خارجی[ویرایش]
- Abshire, Chris (2018-04-06). "Self-Supervised Learning: A Key to Unlocking Self-Driving Cars?". Toyota Ventures (به انگلیسی). Retrieved 2021-10-05.
- Doersch, Carl; Zisserman, Andrew (October 2017). "Multi-task Self-Supervised Visual Learning". 2017 IEEE International Conference on Computer Vision (ICCV): 2070–2079. arXiv:1708.07860. doi:10.1109/ICCV.2017.226. ISBN 978-1-5386-1032-9.
- Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). "Unsupervised Visual Representation Learning by Context Prediction". 2015 IEEE International Conference on Computer Vision (ICCV): 1422–1430. arXiv:1505.05192. doi:10.1109/ICCV.2015.167. ISBN 978-1-4673-8391-2.
- Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (2018-04-01). "Fast and robust segmentation of white blood cell images by self-supervised learning". Micron (به انگلیسی). 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969.
- Shenwai, Tanushree (2021-09-30). "Google AI's New Study Enhance Reinforcement Learning (RL) Agent's Generalization In Unseen Tasks Using Contrastive Behavioral Similarity Embeddings". MarkTechPost (به انگلیسی). Retrieved 2021-10-07.