پیش‌نویس:گزینش متغیر

گزینش ویژگی یا گزنیش متغیر به روند و انتخاب ویژگی ها و متغیر های مرتبط با ساخت مدل یادگیری ماشینی می گویند .

عمدتا دلایل استفاده از گزینش ویژگی به ساده سازی مدل مربوط هستند که میتوان به دلایل زیر اشاره کرد:

•    ساده سازی مدل برای تفسیر پذیر تر شدن آن
•    کاهش زمان یادگیری

•    از بین بردن همبستگی های متغیر های  موجود درون مدل

اما مهم ترین دلیل استفاده از گزینش ویژگی به زمانی بر میگردد که داده های ما شامل ویژگی هایی است که هیچ همبستگی با مدل ما ندارند .

گزینش زیر مجموعه

به طور کلی مهم ترین الگوریتم گزینش ویژگی گزینش زیر مجموعه می باشد به طوری که زیر مجموعه ای از ویژگی ها تشکیل می دهیم که به نسبت تعداد ویژگی ها و متغیر های درون آن زیر مجموعه بهترین عملکرد و کمترین خطا را داشته باشد.

گزینش گام به گام

گزینش بهرین زیر مجموعه

روش گزینش بهترین زیر مجموعه بدین صورت می باشد که به ازای هر k تمام زیر مجموعه های k عضوی متغیر هارا در مدل میسنجیم و بهترین انها را ثبت میکنیم و نگه میداریم و عملکرد k های مختلف را با یکدیگر مقایسه میکنیم

در این شکل گزینش رو به جلو به طور شهودی توضیح داده شده است.

واضح است که در این روش $2^{p}$ (p تعداد متغیر های اولیه است) حالت داریم که از لحاظ هزینه محاسباتی بسیار بالا می باشد .

گزینش رو به جلو

به دلایل محاسباتی روش بهترین زیر مجموعه نمی تواند برای مدلی که متغیر ها و ویژگی های زیادی دارد به کار برده شود.

در این روش به صورت حریصانه عمل می کنیم و هر بار متغیری که اضافه شدنش به برازش بیشترین مقدار خطا را کاهش دهد را به برازش اضافه می کنیم.

این روش لزوما مارا به بهترین جواب نمی رساند ولی از لحاظ هزینه محاسباتی و زمان بسیار کارا تر و سریع تر از روش بهترین زیر مجموعه است.

در این شکل گزینش رو به عقب به طور شهودی توضیح داده شده است.

گزینش رو به عقب

در این روش نیز مانند روش گزینش رو به جلو به صورت حریصانه عمل میکنیم به طوری که در ابتدا کل متغیر هارا در زیر مجموعه خود داریم و هر بار متغیری که حذف آن کمترین خطا را به خطا کلی اضافه می کند را  از زیر مجموعه خود حذف میکنیم.

انتخاب مدل بهینه

برای انتخاب مدل بهینه ابزار های متفاوتی داریم که به تفصیل به هر کدام و کارکرد هر یک اشاره خواهیم کرد.

معیار اطلاعاتی آکائیکه( AIC)

معیاری برای سنجش عملکرد برازش است. این معیار بر اساس مفهوم انتروپی بنا شده‌است و نشان می‌دهد که استفاده از یک مدل آماری به چه میزان باعث از دست رفتن اطلاعات می‌شود.

رابطه ی ریاضاتی موجود برای معیار اطلاعتی آکائیکه به شرح زیر است:

$AIC=2k-2ln({\hat {L}})$

که k تعداد پارامتر ها و L خروجی تابع بیشترین مقدار بزرگ نمایی (Maximum Likelihood) می باشد .

معیار اطلاعاتی بیزی(BIC)

معیار اطلاعاتی بیزی نیز مانند معیار اطلاعاتی آکائیکه بر مبنای تابع بزرگ نمایی بیشینه استوار است اما با این تفاوت که جریمه ی متغیر های ازاد در مدل با وجود معیار اطلاعاتی بیزی بیشتر خواهد بود

زیرا با توجه به عبارت ریاضی رو به رو :

$BIC=k\ln(n)-2\ln({\hat {L}})$

همانطور که مشخص است مقدار عبارت به k که تعداد متغیر ها می باشد وابستگی دارد و همینطور با مقدار n که تعداد نقاط مجموعه داده است نیز وابستگی مستقیم دارد که با توجه به این دو جریمه بیشتری برای خطا و وجود متغیر های ازاد در نظر میگیرد.

معیار اطلاعاتی R2 همگام شده

این معیار یکی از بهترین معیار ها برای سنجش عملکرد برازش است به طوری که همیشه اختلاف میزان عملکرد برازش را با حالت میانگین داده ها میسنجیم و و هر چه برازش ما بهتر باشد میزان کمتری از اطلاعات توضیح داده نشده خواهیم داشت .

عبارت ریاضی رو به رو به شرح R2 همگام شده پرداخته است:

$AdjustedR^{2}=1-(RSS/(n-d-1))/TSS/(n-1)$

که RSS بیانگر جمع مربعات خطای توضیح داده نشده و میزان خطای توضیح داده نشده در برازش می باشد.

و TSS بیانگر جمع مربعات خطای توضیح داده نشده در حالت میانگین داده ها و میزان خطای توضیح داده نشده در برازش میانگین می باشد.

روش اعتبارسنجی متقابل

روش اعتبار سنجی متقابل با تقسیم بندی داده ها به دو بخش داده ی یادگیری و داده ی سنجش هر بار برازش را بر روی داده یادگیری انجام می دهد و سپس میزان خطای برازش را بر روی داده سنجش

می سنجد.

این روش امروزه نسبت به روش های دیگر بسیار عملکرد بهتری دارد زیرا از تخمین های بیش از حد استفاده نمی کند .

در گذشته برای استفاده از این روش با مشکل هزینه محاسباتی بالا رو به رو بودیم اما امروزه با توجه به قدرتمند تر شدن کامپیوتر ها به راحتی می توان از این روش استفاده کرد.

منابع

An Introduction to Statistical Learning

Brank, Janez; Mladenić, Dunja; Grobelnik, Marko; Liu, Huan; Mladenić, Dunja; Flach, Peter A.; Garriga, Gemma C.; Toivonen, Hannu; Toivonen, Hannu (2011), "Feature Selection", in Sammut, Claude; Webb, Geoffrey I. (eds.), Encyclopedia of Machine Learning, Boston, MA: Springer US, pp. 402–406, doi:10.1007/978-0-387-30164-8_306,

Persello, Claudio; Bruzzone, Lorenzo (July 2014). "Relevant and invariant feature selection of hyperspectral images for domain generalization". 2014

Guyon, Isabelle; Elisseeff, André (2003). "An Introduction to Variable and Feature Selection". JMLR. 3

Yang, Yiming; Pedersen, Jan O. (1997). A comparative study on feature selection in text categorization (PDF). ICML

Forman, George (2003). "An extensive empirical study of feature selection metrics for text classification" (PDF). Journal of Machine Learning

Yang, Howard Hua; Moody, John (2000). "Data visualization and feature selection: New algorithms for nongaussian data" (PDF). Advances in Neural Information Processing Systems: 687–693.

رده:مقاله‌های ایجاد شده توسط ایجادگر