یادگیری بی‌نظارت

یادگیری بدون نظارت نوعی یادگیری ماشینی است که به دنبال الگوهای قبلاً کشف نشده در یک مجموعه داده بدون برچسب قبلی و با حداقل نظارت بر انسان است. بر خلاف یادگیری تحت نظارت که معمولاً از داده‌های دارای برچسب انسانی استفاده می‌شود، یادگیری بدون نظارت، همچنین به عنوان خودسازمانی شناخته می‌شود ، امکان مدل‌سازی تراکم احتمال را نسبت به ورودی‌ها فراهم می‌کند. این یکی از سه دسته اصلی یادگیری ماشین است، که همراه با یادگیری تحت نظارت و تقویت یادگیری است. یادگیری نیمه نظارت شده، یک نوع مرتبط، از تکنیک‌های نظارت شده و بدون نظارت استفاده می‌کند.

دو روش اصلی که در یادگیری بدون نظارت استفاده می‌شود، تحلیل مولفه‌های اصلی و تحلیل مولفه‌های خوشه ای است. تجزیه و تحلیل خوشه ای در یادگیری بدون نظارت برای گروه‌بندی یا تقسیم‌بندی مجموعه داده‌ها با ویژگی‌های مشترک به منظور برون یابی روابط الگوریتمی استفاده می‌شود.^[۱] تجزیه و تحلیل خوشه ای شاخه ای از یادگیری ماشین است که داده‌هایی را که برچسب گذاری یا طبقه‌بندی نشده‌اند را گروه‌بندی می‌کند. تجزیه و تحلیل خوشه ای به جای پاسخ دادن به بازخورد، نقاط مشترک داده‌ها را شناسایی می‌کند و بر اساس وجود یا عدم وجود چنین اشتراکاتی در هر قطعه جدید از داده‌ها واکنش نشان می‌دهد. این روش کمک می‌کند تا نقاط داده‌های غیرعادی که در هر دو گروه نمی‌گنجد، شناسایی شود.

تنها لازمه ای که می‌توان آن را استراتژی یادگیری بدون نظارت نامید، یادگیری فضای جدیدی است که با به حداکثر رساندن برخی از عملکردهای هدف یا با به حداقل رساندن برخی از عملکردهای از دست رفته، ویژگی‌های فضای اصلی را به تصویر می‌کشد؛ بنابراین، تولید یک ماتریس کوواریانس یادگیری بدون نظارت نیست، اما در نظر گرفتن بردارهای ویژه ماتریس کوواریانس به این دلیل است که عملیات ترکیب جبر خطی، واریانس را به حداکثر می‌رساند. این به عنوان تجزیه و تحلیل مولفه‌های اصلی شناخته می‌شود.^[۲] به همین ترتیب، ورود به سیستم یک مجموعه داده یادگیری بدون نظارت نیست، اما انتقال داده‌های ورودی از طریق چندین توابع سیگموئید در حالی که برخی از عملکردهای فاصله را بین داده‌های تولید شده و حاصل از آن به حداقل می‌رساند، شناخته می‌شود و به عنوان خودرمزگذار شناخته می‌شود.

یک کاربرد اصلی یادگیری بدون نظارت در زمینه برآورد تراکم در آمار است، اگرچه یادگیری بدون نظارت بسیاری از حوزه‌های دیگر را شامل می‌شود که شامل جمع‌بندی و توضیح ویژگی‌های داده می‌باشد. این می‌تواند با یادگیری نظارت شده در تقابل باشد با گفتن اینکه یادگیری تحت نظارت قصد دارد یک توزیع احتمال مشروط را استنباط کند ${\textstyle p_{X}(x\,|\,y)}$ که مشروط به برچسب ${\textstyle y}$ از داده‌های ورودی می‌باشد. یادگیری بدون نظارت قصد دارد یک توزیع احتمالات پیشینی را استنتاج کند ${\textstyle p_{X}(x)}$ .

شبکه‌های خصمانه تولیدی را نیز می‌توان با یادگیری نظارت شده استفاده کرد، اگرچه می‌توان آنها را برای تکنیک‌های بدون نظارت و تقویت نیز به کار برد.

رویکردها

برخی از متداول‌ترین الگوریتم‌های مورد استفاده در یادگیری بدون نظارت عبارتند از: (۱) خوشه بندی، (۲) تشخیص ناهنجاری، (۳) شبکه‌های عصبی، و (۴) رویکردهایی برای یادگیری مدل‌های متغیر پنهان. هر رویکرد از چندین روش به شرح زیر استفاده می‌کند:

خوشه بندی
- خوشه بندی سلسله مراتبی،
- k میانگین^[۳]
- مدل‌های مخلوط
- DBSCAN
- الگوریتم OPTICS
تشخیص ناهنجاری
- عامل محلی دورریز
- جنگل انزوا
شبکه‌های عصبی
- رمزگذاران خودکار
- باورهای عمیق
- یادگیری Hebbian
- شبکه‌های خصمانه تولیدی
- نقشه خودسازمانده
رویکردهایی برای یادگیری مدلهای متغیر پنهان مانند
- الگوریتم انتظار - حداکثر (EM)
- روش لحظه‌ها
- تکنیک‌های جداسازی سیگنال کور

شبکه‌های عصبی

مثال کلاسیک برای یادگیری بی نظارت در مطالعه شبکه‌های عصبی، اصل دونالد هب است، یعنی نورونهایی که بهم متصل می‌شوند و با هم شلیک می‌شوند. در یادگیری Hebbian، صرف نظر از خطا، اتصال تقویت می‌شود، اما منحصراً تابعی از همزمانی بین پتانسیل‌های عمل بین دو نورون است.^[۴] نسخه مشابهی که وزن‌های سیناپسی را اصلاح می‌کند، زمان بین پتانسیل‌های عمل (پلاستیک وابسته به زمان سنبله یا STDP) را در نظر می‌گیرد. فرضیه یادگیری Hebbian این است که زیربنای طیف وسیعی از عملکردهای شناختی مانند شناخت الگو و یادگیری تجربی است.

در میان مدلهای شبکه عصبی، از نقشه خودسازمانده (SOM) و تئوری تشدید تطبیقی (ART) معمولاً در الگوریتمهای یادگیری بی نظارت استفاده می‌شود. SOM سازمانی توپوگرافی است که در آن مکانهای نزدیک به نقشه ورودیهای دارای خصوصیات مشابه را نشان می‌دهد. مدل ART به تعداد خوشه‌ها اجازه می‌دهد تا با اندازه مسئله متفاوت باشند و به کاربر اجازه می‌دهد با یک ثابت تعریف شده توسط کاربر به نام پارامتر هوشیاری، میزان شباهت بین اعضای همان خوشه‌ها را کنترل کند. شبکه‌های ART برای بسیاری از وظایف تشخیص الگو مانند شناسایی خودکار هدف و پردازش سیگنال لرزه ای استفاده می‌شود.^[۵]

روش لحظه‌ها

یکی از رویکردهای آماری برای یادگیری بدون نظارت، روش لحظه‌ها است. در روش لحظه‌ها، پارامترهای ناشناخته (مورد نظر) در مدل مربوط به لحظه‌های یک یا چند متغیر تصادفی است و بنابراین این پارامترهای ناشناخته را می‌توان با توجه به لحظه‌ها تخمین زد. لحظه‌ها معمولاً به صورت تجربی از نمونه‌ها برآورد می‌شود. لحظات اساسی لحظه‌های مرتبه اول و دوم هستند. برای یک بردار تصادفی، لحظه مرتبه اول بردار میانگین است و لحظه مرتبه دوم ماتریس کوواریانس است (وقتی میانگین صفر است). لحظه‌های مرتبه بالاتر معمولاً با استفاده از تنسورهایی است که تعمیم ماتریس‌ها به مرتبه‌های بالاتر به عنوان آرایه‌های چند بعدی هستند، نمایش داده می‌شوند.

به‌طور خاص، روش لحظه‌ها در یادگیری پارامترهای مدل‌های متغیر پنهان مؤثر نشان داده شده‌است.^[۶] مدلهای متغیر پنهان مدلهای آماری هستند که در آن‌ها علاوه بر متغیرهای مشاهده شده، یک مجموعه از متغیرهای پنهان نیز وجود دارد که مشاهده نمی‌شود. یک نمونه کاملاً کاربردی از مدل‌های متغیر پنهان در یادگیری ماشین ،مدل‌سازی موضوع است که یک مدل آماری برای تولید کلمات (متغیرهای مشاهده شده) در سند بر اساس موضوع (متغیر پنهان) سند است. در مدل‌سازی موضوع، کلمات موجود در سند با توجه به پارامترهای آماری متفاوت هنگامی که موضوع سند تغییر می‌کند تولید می‌شوند. نشان داده شده‌است که روش لحظه ها (تکنیک‌های تجزیه تنسور) به‌طور مداوم پارامترهای یک طبقه بزرگ از مدل‌های متغیر پنهان را تحت برخی فرضیات بازیابی می‌کند.

الگوریتم امید ریاضی - حداکثر سازی (EM) نیز یکی از کاربردی‌ترین روش‌ها برای یادگیری مدل‌های متغیر پنهان است. با این حال، می‌تواند در اپتیمای محلی گیر کند و تضمین نمی‌شود که این الگوریتم به پارامترهای ناشناخته واقعی در مدل همگرا شود. در متقابلاً، برای روش لحظه‌ها، همگرایی جهانی تحت برخی شرایط تضمین می‌شود.^[۶]

جستارهای وابسته

یادگیری ماشین خودکار
خوشه بندی
تشخیص ناهنجاری
الگوریتم امید ریاضی - حداکثرسازی
نقشه توپوگرافی تولیدی
فرا یادگیری (علوم کامپیوتر)
تحلیل چند متغیره
شبکه عملکرد شعاعی
نظارت ضعیف

منابع

↑ Roman, Victor (2019-04-21). "Unsupervised Machine Learning: Clustering Analysis". Medium. Retrieved 2019-10-01.
↑ Snow, Dr Derek (2020-03-26). "Machine Learning in Asset Management: Part 2: Portfolio Construction—Weight Optimization". Journal of Financial Data Science. doi:10.3905/jfds.2020.1.029 (inactive 2020-10-10). Retrieved 2020-05-16.
↑ Garbade, Dr Michael J. (2018-09-12). "Understanding K-means Clustering in Machine Learning". Medium. Retrieved 2019-10-31.
↑ Comesaña-Campos, Alberto; Bouza-Rodríguez, José Benito (June 2016). "An application of Hebbian learning in the design process decision-making". Journal of Intelligent Manufacturing. 27 (3): 487–506. doi:10.1007/s10845-014-0881-z. ISSN 0956-5515.
↑ Carpenter, G.A.; Grossberg, S. (1988). "The ART of adaptive pattern recognition by a self-organizing neural network" (PDF). Computer. 21 (3): 77–88. doi:10.1109/2.33. Archived from the original (PDF) on 16 May 2018. Retrieved 10 December 2020.
↑ ^۶٫۰ ^۶٫۱ Anandkumar, Animashree; Ge, Rong; Hsu, Daniel; Kakade, Sham; Telgarsky, Matus (2014). "Tensor Decompositions for Learning Latent Variable Models" (PDF). Journal of Machine Learning Research. 15: 2773–2832. arXiv:1210.7559. Bibcode:2012arXiv1210.7559A.

پیوند به بیرون

Bousquet, O.; von Luxburg, U.; Raetsch, G., eds. (2004). Advanced Lectures on Machine Learning. Springer-Verlag. ISBN 978-3-540-23122-6.
Duda, Richard O.; Hart, Peter E.; Stork, David G. (2001). "Unsupervised Learning and Clustering". Pattern classification (2nd ed.). Wiley. ISBN 0-471-05669-3.
Hastie, Trevor; Tibshirani, Robert (2009). The Elements of Statistical Learning: Data mining, Inference, and Prediction. New York: Springer. pp. 485–586. doi:10.1007/978-0-387-84858-7_14. ISBN 978-0-387-84857-0.
Hinton, Geoffrey; Sejnowski, Terrence J., eds. (1999). Unsupervised Learning: Foundations of Neural Computation. MIT Press. ISBN 0-262-58168-X. (This book focuses on unsupervised learning in neural networks)

نام کاربری:CSF828

[1] Roman, Victor (2019-04-21). "Unsupervised Machine Learning: Clustering Analysis". Medium. Retrieved 2019-10-01.

[2] Snow, Dr Derek (2020-03-26). "Machine Learning in Asset Management: Part 2: Portfolio Construction—Weight Optimization". Journal of Financial Data Science. doi:10.3905/jfds.2020.1.029 (inactive 2020-10-10). Retrieved 2020-05-16.

[3] Garbade, Dr Michael J. (2018-09-12). "Understanding K-means Clustering in Machine Learning". Medium. Retrieved 2019-10-31.

[4] Comesaña-Campos, Alberto; Bouza-Rodríguez, José Benito (June 2016). "An application of Hebbian learning in the design process decision-making". Journal of Intelligent Manufacturing. 27 (3): 487–506. doi:10.1007/s10845-014-0881-z. ISSN 0956-5515.

[5] Carpenter, G.A.; Grossberg, S. (1988). "The ART of adaptive pattern recognition by a self-organizing neural network" (PDF). Computer. 21 (3): 77–88. doi:10.1109/2.33. Archived from the original (PDF) on 16 May 2018. Retrieved 10 December 2020.

[TensorLVMs-6] ۶٫۰ ^۶٫۱ Anandkumar, Animashree; Ge, Rong; Hsu, Daniel; Kakade, Sham; Telgarsky, Matus (2014). "Tensor Decompositions for Learning Latent Variable Models" (PDF). Journal of Machine Learning Research. 15: 2773–2832. arXiv:1210.7559. Bibcode:2012arXiv1210.7559A.

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]